WO2017187974A1 - 感情特定システム、システム及びプログラム - Google Patents

感情特定システム、システム及びプログラム Download PDF

Info

Publication number
WO2017187974A1
WO2017187974A1 PCT/JP2017/014876 JP2017014876W WO2017187974A1 WO 2017187974 A1 WO2017187974 A1 WO 2017187974A1 JP 2017014876 W JP2017014876 W JP 2017014876W WO 2017187974 A1 WO2017187974 A1 WO 2017187974A1
Authority
WO
WIPO (PCT)
Prior art keywords
emotion
unit
information
robot
artificial
Prior art date
Application number
PCT/JP2017/014876
Other languages
English (en)
French (fr)
Inventor
孫 正義
筒井 多圭志
康介 朝長
清 大浦
Original Assignee
Cocoro Sb株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cocoro Sb株式会社 filed Critical Cocoro Sb株式会社
Priority to EP17789261.9A priority Critical patent/EP3435292A4/en
Priority to CN201780026294.7A priority patent/CN109074510A/zh
Publication of WO2017187974A1 publication Critical patent/WO2017187974A1/ja
Priority to US16/170,045 priority patent/US20190065930A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to an emotion identification system, system, and program.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2011-253389
  • Patent Document 2 Japanese Patent Application Laid-Open No. 10-254592
  • Patent Document 3 Japanese Patent Application Publication No. 2013-535067
  • an emotion identification system may include an information acquisition unit that acquires information for determining the emotion of the target object.
  • the emotion identification system may include a determination unit that determines whether each of the determination elements associated with a plurality of emotions is satisfied based on the information.
  • the emotion identifying system is an adjustment unit that expands a range occupied by a predetermined type of emotion in a space to which a plurality of emotions are mapped when information meets a predetermined condition regarding a predetermined type of emotion. May be provided.
  • the emotion identification system may include an emotion identification unit that identifies an emotion that is determined by the determination unit to be associated with the determination element associated with the emotion.
  • the emotion identification system may include an output control unit that outputs information indicating a range occupied by a plurality of emotions in the emotion and space identified by the emotion identification unit.
  • the adjustment unit further acts on the determination of the one or more determination elements based on the information acquired by the information acquisition unit so that the one or more determination elements associated with the emotion for expanding the range in the space are easily satisfied. Calculation parameters to be adjusted may be adjusted.
  • the plurality of determination elements may be a plurality of artificial neurons included in a neural network that receives input information based on information acquired by the information acquisition unit.
  • One of the emotions is associated with the plurality of artificial neurons, and the emotion identification unit is associated with the fired artificial neuron among the plurality of artificial neurons. You may identify the emotions you have.
  • the calculation parameter may be a coupling coefficient of an artificial synapse included in the neural network.
  • the adjustment unit may increase the coupling coefficient of the strong-coupled artificial synapse connected to one or more determination elements associated with the emotion that expands the range in the space.
  • the emotion identification system may include a secretion information generation unit that generates secretion information indicating a secretion amount of one or more endocrine substances based on information acquired by the information acquisition unit.
  • the adjustment unit adjusts the coupling coefficient based on the secretion amount of the endocrine substance indicated by the secretion information, and corresponds to the predetermined type of emotion when expanding the range occupied by the predetermined type of emotion in the space
  • the coupling coefficient connected to the attached one or more determination elements may be further adjusted.
  • the predetermined type of emotion may be an emotion corresponding to a delusion / division position.
  • the predetermined condition may be a condition for determining that the target object is in a predetermined situation corresponding to the delusion / division position.
  • the output control unit may highlight and display the range occupied by the emotion specified by the emotion specifying unit in the space.
  • the emotion identification system may include a control unit that controls the target object according to the emotion identified by the emotion identification unit.
  • a system in a second aspect of the present invention, may comprise the emotion identification system described above.
  • the system may comprise a target object.
  • a program for causing a computer to function as the emotion identification system is provided.
  • FIG. 10 An example of the whole composition of system 10 concerning this embodiment is shown roughly.
  • the functional block structure of the robot 40 and the server 60 is shown schematically.
  • 1 schematically shows an emotion map 300 to which a plurality of emotions are mapped.
  • 1 schematically illustrates a portion of a neural network used by system 10. It is an example of the correspondence information which matches the remaining capacity of a storage battery with an endocrine substance. It is an example of binding coefficient correspondence information that correlates the secretion amount of noradrenaline and the binding coefficient BS.
  • An example of correspondence information between conditions and conditions for expanding the range of emotions corresponding to delusion / split positions and coupling coefficients is shown.
  • 3 is a flowchart showing the operation of each unit in the emotion identification system 100.
  • the emotion map screen displayed on the robot 40 is shown.
  • the emotion map screen displayed on the robot 40 is shown.
  • FIG. 1 schematically shows an example of the overall configuration of a system 10 according to the present embodiment.
  • the system 10 includes a server 60, a robot 40a, a robot 40b, and a robot 40c.
  • the server 60 can function as an emotion identification system.
  • Each of the robot 40a, the robot 40b, and the robot 40c is an example of a target object in the emotion identification system.
  • the robot 40a, the robot 40b, and the robot 40c are arranged at home, for example.
  • the user 50a is a user of the robot 40a.
  • the user 50a is a family member at the home where the robot 40a is arranged or another person who visits the home.
  • the robot 40a performs an exchange such as a conversation with the user 50a.
  • the robot 40b and the robot 40c perform exchanges such as a conversation with the user 50b and the user 50c, respectively.
  • the robot 40a, the robot 40b, and the robot 40c can be applied to a usage form such as being arranged at the reception of a store or an office and responding to a visitor.
  • the usage forms of the robot 40a, the robot 40b, and the robot 40c are not limited to these usage forms.
  • the server 60 is provided remotely from the robot 40a, the robot 40b, and the robot 40c.
  • the server 60 can control the robot 40a, the robot 40b, and the robot 40c through the communication network 90.
  • the server 60 acquires sensor information detected by the robot 40a through the communication network 90, determines emotions of the robot 40a and actions to be performed by the robot 40a based on the acquired sensor information, and transmits through the communication network 90.
  • the control information is transmitted to instruct the robot 40a.
  • the robot 40b and the robot 40c have substantially the same function as the robot 40a.
  • the robot 40a, the robot 40b, and the robot 40c may be collectively referred to as the robot 40.
  • the server 60 executes processing for specifying the emotion of the robot 40 and determining the operation.
  • the robot 40 may execute some or all of these processes.
  • the robot 40 acquires various information detected by the sensor such as the voice and image of the user 50 and information on the external force received by the robot 40 and transmits the acquired information to the server 60.
  • the server 60 generates control information for controlling the robot 40 using a neural network (NN) based on the information acquired from the robot 40.
  • NN neural network
  • the server 60 identifies emotion from the generated input information using information corresponding to the amount of endocrine substances in the living body as action information that affects emotion identification. For example, the server 60 identifies an emotion using a neural network using as parameters the secretion amount of brain endocrine substances such as dopamine amount, noradrenaline amount, vasopressin amount, and serotonin amount.
  • a neural network an increase in the amount of dopamine can affect the generation of emotions similar to “joyful”.
  • an increase in the amount of noradrenaline can affect the generation of emotions similar to “anger”.
  • an increase in the amount of serotonin can act in the direction of suppressing the intensity of emotions such as “happy” and “anger”.
  • the neural network determines what kind of emotion is likely to be born depending on the sum of the secretion amounts of these endocrine substances.
  • the server 60 generates input information to the neural network from the sensor information acquired from the robot 40. Further, the server 60 determines the amount of endocrine secretion from the sensor information. For example, the amount of noradrenaline is increased when the remaining battery level is low.
  • the server 60 specifies the emotion of the robot 40 using a neural network in which artificial neurons are connected with a coupling coefficient affected by an endocrine substance.
  • the server 60 increases the coupling coefficient of the artificial synapse acting on the artificial neuron corresponding to the emotion belonging to the delusion / division position. Further, the server 60 expands the range of emotions corresponding to the delusion / split positions in the emotion map in the emotion map to which a plurality of emotions are mapped.
  • the emotions belonging to the delusion / division position are, for example, emotions representing a psychological state that easily leads to the behavior of the division mechanism.
  • the server 60 transmits to the robot 40 control information including information indicating the emotion of the robot 40 identified using the neural network and information indicating the emotion expanded in the emotion map.
  • the robot 40 displays an emotion map based on the control information received from the server 60, and highlights the emotion of the robot 40 specified by the server 60 on the emotion map.
  • the server 60 may include, in the control information, an instruction to perform an action corresponding to the delusion / split position, such as a split mechanism, when an emotion belonging to the delusion / split position is specified.
  • the robot 40 can have a human-like psychological state.
  • the system 10 in the process of specifying the emotion of the robot 40, it can be appropriately handled that the specific emotion is easily generated according to the situation received by the robot 40.
  • FIG. 2 schematically shows the functional block configuration of the robot 40 and the server 60.
  • the robot 40 includes a sensor unit 120, an information processing unit 130, a control target 160, and a communication unit 102.
  • the information processing unit 130 may be a processor such as an MPU.
  • the communication unit 102 is responsible for communication with the server 60.
  • the communication unit 102 may be a communication device such as a network IF.
  • the control object 160 includes a display unit described later.
  • the control object 160 includes a speaker.
  • the control object 160 also includes a motor that drives a movable part such as a limb or head of the robot 40.
  • the sensor unit 120 includes various sensors such as a microphone, a gyro sensor, a motor sensor, a camera, a battery remaining amount sensor, and an infrared sensor.
  • the microphone of the sensor unit 120 acquires ambient sound. For example, the microphone of the sensor unit 120 acquires the voice of the user 50.
  • the camera of the sensor unit 120 shoots with visible light and generates image information of moving images and still images.
  • the infrared sensor of the sensor unit 120 detects surrounding objects using infrared rays.
  • the gyro sensor of the sensor unit 120 detects the angular velocity of the entire robot 40 and each part of the robot 40.
  • the motor sensor of the sensor unit 120 detects the rotation angle of the drive shaft of the motor that drives the movable part of the robot 40.
  • the remaining battery level sensor of the sensor unit 120 detects the remaining battery capacity of the robot 40.
  • the sensor unit 120 is an audio data acquired by a microphone, an image captured by a camera, an angular velocity detected by a gyro sensor, a rotation angle detected by a motor sensor, a remaining capacity detected by a battery remaining amount sensor, and an infrared sensor.
  • Various sensor data such as detected object information is output to the information processing unit 130.
  • the information processing unit 130 supplies the acquired sensor signal to the communication unit 102 and transmits it to the server 60.
  • the information processing unit 130 causes the speaker of the robot 40 to speak or operates the limbs of the robot 40 based on the control information acquired from the server 60.
  • the server 60 includes a processing unit 270, a communication unit 202, and a storage unit 280.
  • the processing unit 270 includes a secretion information generation unit 200, an input information generation unit 210, an adjustment unit 220, an emotion identification unit 260, a control unit 250, and a determination unit 252.
  • the emotion identification unit 260 includes an NN calculation unit 230 and a determination unit 240.
  • the communication unit 202 includes an information acquisition unit 204.
  • the communication unit 202 is responsible for communication with the robot 40.
  • the communication unit 202 may be a communication device such as a network IF.
  • the storage unit 280 includes a storage medium such as a hard disk device or a flash memory.
  • the storage unit 280 includes a volatile storage device such as a RAM.
  • the storage unit 280 stores data necessary for executing the processing of the processing unit 270, in addition to program codes read by the processing unit 270 during execution and various kinds of temporary data.
  • the information acquisition unit 204 acquires information for determining the emotion of the robot 40.
  • the information acquisition unit 202 acquires information detected by the sensor unit 120 of the robot 40 through the network 90.
  • the determination unit 240 determines whether or not the determination elements respectively associated with a plurality of emotions are satisfied.
  • the adjustment unit 220 expands the range occupied by a predetermined type of emotion in a plurality of emotion maps when the information acquired by the information acquisition unit 202 meets a predetermined condition regarding a predetermined type of emotion. To do. For example, the determination unit 252 determines whether the information acquired by the information acquisition unit 202 meets a predetermined condition regarding a predetermined type of emotion. When the determination unit 252 determines that the information acquired by the information acquisition unit 202 matches a predetermined condition, the adjustment unit 220 expands a range occupied by predetermined types of emotions in a plurality of emotion maps. .
  • the emotion map is an example of a space where emotions are mapped.
  • the predetermined type of emotion is, for example, an emotion corresponding to a delusion / division position.
  • the predetermined condition is a predetermined condition for determining that the robot 40 is in a predetermined situation corresponding to the delusion / division position.
  • the predetermined type of emotion may be an emotion indicating a psychological state of transition between the delusion / split position and the depression position.
  • the emotion identification unit 260 identifies an emotion that is determined by the determination unit 240 to be satisfied with the determination element associated with it, from among a plurality of emotions.
  • the control unit 250 outputs information indicating the emotion specified by the emotion specifying unit 260 and a range occupied by a plurality of emotions in the emotion map. For example, the control unit 250 causes the communication unit 202 to transmit information indicating the emotion and the range to the robot 40.
  • the adjustment unit 220 further facilitates satisfying one or more determination elements associated with the emotion whose range is expanded in the emotion map among the plurality of determination elements.
  • the calculation parameter that affects the determination of one or more determination elements is adjusted.
  • the plurality of determination elements may be a plurality of artificial neurons included in a neural network that receives input information based on information acquired by the information acquisition unit 204. Any of the emotions may be associated with the plurality of artificial neurons.
  • the emotion identifying unit 260 may identify an emotion associated with the fired artificial neuron among the plurality of artificial neurons.
  • the calculation parameter may be a coupling coefficient of an artificial synapse included in the neural network.
  • the adjustment unit 220 increases the coupling coefficient of the strong-coupled artificial synapse connected to one or more artificial neurons associated with the emotion that expands the range in the emotion map.
  • the secretion information generation unit 200 generates secretion information indicating the secretion amount of one or more endocrine substances based on the information acquired by the information acquisition unit 204.
  • the adjustment unit 220 adjusts the coupling coefficient based on the secretion amount of the endocrine substance indicated by the secretion information and expands the range occupied by the predetermined type of emotion in the emotion map.
  • the coupling coefficient connected to one or more determination elements associated with the emotion is further adjusted. Thereby, in addition to the adjustment of the synaptic connection according to endocrine, it can adjust so that a specific kind of emotion may arise easily according to the condition of the robot 40.
  • control part 250 emphasizes and displays the range which the emotion specified by the emotion specific
  • the range occupied by the emotion corresponding to the delusion / division position is enlarged and displayed in the emotion map. Thereby, the emotion of the robot 40 can be easily recognized.
  • control unit 250 controls the robot 40 according to the emotion specified by the emotion specifying unit 260.
  • the control unit 250 determines a “happy” emotion
  • the control unit 250 generates control information for executing an action representing happiness and transmits the control information to the robot 40.
  • the control unit 250 may generate control information for outputting a voice with a bright tone from the speaker of the robot 40, and cause the robot 40 to have a conversation with the user.
  • the control unit 250 sends control information for performing an action corresponding to the delusion / split position, such as a split mechanism, from the communication unit 202. Transmit to the robot 40.
  • the emotion of the robot 40 can be appropriately expressed by the behavior of the robot 40 or the like.
  • each unit of the server 60 and a computer may be realized.
  • the processing unit 270 may be realized by a processor such as an MPU
  • the storage unit 280 may be realized by a recording medium such as a nonvolatile memory.
  • the storage unit 280 may store a program executed by the processor.
  • the processor executes the program, the secretion information generation unit 200, the input information generation unit 210, the adjustment unit 220, the NN calculation unit 230, the determination unit 240, the emotion identification unit 260, the determination unit 252,
  • the control unit 250 may be mounted, and the control of the storage unit 280 may be realized.
  • the program may be read by the processor from the recording medium 290 such as an optical disk and stored in the storage unit 280, or may be provided to the server 60 through the network and stored in the storage unit 280.
  • the storage unit 280 and the recording medium 290 may be computer-readable non-transitory recording media.
  • FIG. 3 schematically shows an emotion map 300 on which a plurality of emotions are mapped.
  • the emotions are arranged concentrically radially from the center. The closer to the center of the concentric circles, the more primitive emotions are placed. Outside the concentric circles, emotions representing the state and behavior born from the emotional state are arranged. Emotion is a concept that includes emotions and mental states. On the left side of the concentric circles, emotions generated from reactions that occur in the brain are generally arranged. On the right side of the concentric circles, emotions induced by situation judgment are generally arranged.
  • the neural network to be calculated by the NN calculation unit 230 includes an artificial neuron assigned to each emotion shown in the emotion map 300.
  • a plurality of artificial neurons for input are respectively assigned to the first input and the second input located on the innermost side of the concentric circle in the emotion map 300.
  • the input information generated by the input information generation unit 210 from the information acquired by the information acquisition unit 204 is input to each input artificial neuron assigned to the first input and the second input.
  • artificial neurons are generally connected by artificial synapses from the inside to the outside to form a neural network.
  • the input information is input to the input artificial neuron assigned to the first input, input to the input artificial neuron assigned to the second input, or input assigned to the first input.
  • Whether to be input to both the artificial neuron for input and the artificial neuron for input assigned to the second input may be determined by design.
  • the artificial neuron for input assigned to the first input is generally connected to an artificial neuron corresponding to the emotion located on the left side in the emotion map 300. For this reason, when input information is input to the input artificial neuron assigned to the first input, the emotion located on the left side in the emotion map 300 is easily generated.
  • the input artificial neuron assigned to the second input is generally connected to an artificial neuron corresponding to the emotion located on the right side in the emotion map 300. Then, when input information is input to the input artificial neuron assigned to the second input, an emotion located on the right side in the emotion map 300 is easily generated.
  • the NN operation unit 230 repeatedly performs a neural network operation based on the input information, and the determination unit 240 determines the firing state of each artificial neuron.
  • the emotion specifying unit 260 determines the emotion of the robot 40 from the firing state of each artificial neuron. For example, the emotion identification unit 260 determines an emotion to which the fired artificial neuron is assigned as one emotion that the robot 40 has.
  • the emotion map 300 includes emotions belonging to the delusion / split position.
  • the emotions belonging to the delusion / split position are generally emotions arranged in a region along the horizontal axis from the center of the concentric circles.
  • the emotions belonging to the delusion / split position in the emotion map 300 are “stray”, “confused turbulence”, “great”, “scary”.
  • the region along the horizontal axis from the center of the concentric circle is a region where a pleasant feeling above the center of the concentric circle and an unpleasant feeling below the center are mixed.
  • the delusion / split position represents a chaotic, amorphous psychological state.
  • the emotions in the delusion / division position shown in FIG. 3 are also emotions indicating a psychological state of transition between the delusion / division position and the depression position.
  • the server 60 When the server 40 encounters a situation where the robot 40 falls into the delusion / split position, the server 60 performs control so that emotions corresponding to the delusion / split position are easily generated. In addition, when such a situation is encountered, the emotion map of the robot 40 is displayed by expanding an emotion map that expands the range occupied by emotions such as “stray” corresponding to the delusion / split position. Present easily. Details of these processes will be described later.
  • FIG. 4 schematically illustrates a portion of the neural network used by the system 10.
  • Part of the illustrated neural network includes artificial neurons N 1 , N 2 , N 3 , N 4 , N 5 and N 6 and artificial synapses S 12 , S 14 , S 23 , S 25 , S 36 , S 42. , S 43 , S 45 , S 53 , S 56 .
  • Artificial neurons correspond to neurons in the living body.
  • An artificial synapse corresponds to a synapse in a living body.
  • E 1 indicates input information based on the detection signal.
  • Artificial neuron N 1 is an artificial neuron for input. The n pieces of input information E 1 1 ... Input information E n 1 generated based on the detection signals of the sensors are input to the artificial neuron N 1 .
  • Artificial Synapse S 12 is an artificial synapses for connecting the neurons and N 1 and the artificial neuron N 2.
  • the artificial synapse S 12 the output of the artificial neuron N 1, an artificial synapse inputs to the artificial neuron N 2.
  • the artificial synapse S 14 is an artificial synapse that connects the artificial neuron N 1 and the artificial neuron N 4 .
  • the artificial synapse S 14 is an artificial synapse that inputs the output of the artificial neuron N 1 to the artificial neuron N 4 .
  • an artificial synapse in which j and k are integers and the output of the artificial neuron N j is input to the artificial neuron N k is denoted as an artificial synapse S jk .
  • each artificial neuron is denoted by N i.
  • N i has a S i representing the status of the N i, and V i m which represents the internal state of the artificial neuron represented by N i, and T i which represents the threshold of the ignition of the N i as a parameter.
  • the artificial synapse S jk has a coupling coefficient BS jk as a parameter.
  • the artificial neuron may be collectively referred to as an artificial neuron N with its subscript omitted.
  • the artificial synapse is collectively referred to as an artificial synapse S with its subscript omitted.
  • the parameters of the artificial neuron may be collectively referred to as internal information Vm, threshold value T, and status S with their subscripts omitted.
  • the status S, the internal state Vm, and the threshold T of the artificial neuron N are parameters that can be updated as time progresses.
  • the status S is information regarding the firing state of the neuron, and indicates at least whether the artificial neuron N is in a firing state or a non-firing state.
  • the internal state Vm is information relating to the membrane potential of the neuron, and is an example of a parameter representing the internal state or output of the artificial neuron N.
  • the coupling coefficient BS which is a parameter of the artificial synapse S, is a parameter that can be updated as time advances.
  • the coupling coefficient BS is information relating to synaptic plasticity, and indicates the coupling strength between the artificial neurons N to which the artificial synapse S is coupled.
  • the NN calculation unit 230 updates the above-described parameters in the neural network from the input information, and calculates the internal state Vm of each artificial neuron N.
  • the status S of the artificial neuron N is “fired”.
  • the artificial neuron N outputs a predetermined signal over a predetermined time.
  • the status S of N returns to the last ignition.
  • NN arithmetic unit 230 an input I 2 to N 2, is calculated by BS 12 ⁇ Vm 1 ⁇ f ( S 1) + BS 42 ⁇ Vm 4 ⁇ f (S 4).
  • f (S) is a function that returns 0 when S is a value indicating unfired, and returns 1 when S is a value indicating the rising phase or the falling phase.
  • f (S) a function corresponding to another transfer model of the membrane potential may be applied.
  • NN calculation unit 230 an input I i to N i, is calculated by ⁇ j BS ji ⁇ Vm j ⁇ f (S j) + ⁇ j E j i.
  • the NN operation unit 230 calculates the inputs I i and S i to the N i at the next time using the BS ji , Vm j , S j , and E j at the current time.
  • the NN calculation unit 230 repeats this in time to determine the status S of each artificial neuron N in real time.
  • the determination unit 240 determines the status S of each artificial neuron N
  • the emotion identification unit 260 determines the emotion of the robot 40 from the determination result of the determination unit 240.
  • the emotion identifying unit 260 identifies “happy” as the emotion of the robot 40 when an artificial neuron assigned with the emotion “happy” in FIG.
  • the adjustment unit 220 adjusts the coupling coefficient BS of the artificial synapse S based on the information acquired from the robot 40. For example, when it is detected that the remaining capacity that is the remaining amount of the storage battery of the robot 40 is 50% or less, the secretion information generation unit 200 increases the secretion amount of “noradrenaline” as an internal variable. Then, the adjustment unit 220 adjusts the coupling coefficient BS of the artificial synapse S associated with “noradrenaline” based on the secretion amount of “noradrenaline”.
  • the generation of “noradrenaline” is set so as to enhance the coupling coefficient BS of the artificial synapse S on the path where the artificial emotional neuron corresponding to the emotion such as “anxiety” or “anger” fires, for example. ing.
  • “noradrenaline” acts in such a direction that emotions such as “anxiety” and “anger” are likely to be generated.
  • the amount of endocrine secretion is associated with a specific artificial synaptic S binding coefficient BS.
  • FIG. 5 is an example of correspondence information that associates the remaining capacity of the storage battery with an endocrine substance.
  • the storage unit 280 stores information indicating noradrenaline in association with a plurality of values of the remaining capacity of the storage battery. More specifically, the storage unit 280 stores information indicating an increase in the amount of noradrenaline secreted in association with each remaining capacity of the storage battery. In addition, the increase amount of secretion amount is shown by the ratio with respect to the upper limit 1 of the secretion amount which the internal variable which the NN calculating part 230 uses represents. Thereby, as the remaining capacity of the storage battery decreases, the amount of noradrenaline secreted increases, and the feelings of “anxiety” and “anger” are more likely to be generated.
  • FIG. 6 is an example of binding coefficient correspondence information that correlates the secretion amount of noradrenaline and the binding coefficient BS.
  • Storage unit 280 in association with total amount of secreted noradrenaline, and increase the coefficient of coupling coefficient BS 14 of the artificial synapse S 14, the increase factor of the coupling coefficient BS 45 of the artificial synapse S 45, the coupling coefficient of the artificial synapse S 43 Information for associating the increase coefficient of the BS 43 is stored. It is assumed that the artificial synapse S taken up here is connected to the artificial neuron N by strong coupling.
  • the increase coefficient of BS 14 and the increase coefficient of BS 45 are associated with larger values as the amount of noradrenaline increases.
  • the increase coefficient of BS 43 is associated with a smaller value as the amount of noradrenaline increases.
  • the increase coefficient may be set so that the coupling coefficient BS of the artificial synapse S can be adjusted in a direction that makes the output destination artificial neuron N difficult to fire.
  • the increase coefficient may be set so that the coupling coefficient BS of the artificial synapse S can be adjusted in a direction that makes the output destination artificial neuron N difficult to fire.
  • the adjusting unit 220 refers to the binding coefficient correspondence information and adjusts the corresponding binding coefficient BS by an amount corresponding to the total secretion amount of each endocrine substance.
  • the adjustment amount of the coupling coefficient BS can be adjusted in a complex manner from the information acquired by the robot 40, and thus the emotional artificial neuron can be fired in various combinations.
  • the relationship between the information acquired by the robot 40 and the endocrine substances and the relationship between each endocrine substance and the binding coefficient BS are replaced with humans to make them correspond to each other. Can generate emotions.
  • FIG. 7 shows an example of correspondence information between the condition for expanding the range of emotion corresponding to the delusion / split position and the coupling coefficient.
  • the delusion / division condition shown in FIG. 7 is a condition to be satisfied when the range occupied by the emotion corresponding to the delusion / division position is expanded.
  • the coupling coefficient information includes information for specifying an artificial synapse and information indicating an increase amount of the coupling coefficient.
  • the artificial neurons N 1 , N 2 , N 3 , N 4 , N 5, and N 6 are the second input in the emotion map 300, “Relief”, “Relax”, “Anxiety”, “Fear”, and “Stray” respectively. It is assumed that the artificial neuron N is associated with “”. Further, it is assumed that the artificial synapse S between the artificial neurons N is a strong-coupled artificial synapse.
  • the storage unit 280 stores information associating the identification information and the increase amount of each of BS 12 , BS 23 , BS 36 , BS 14 , BS 45 , and BS 56 in association with the condition “the amount of serotonin> threshold”. .
  • the storage unit 280 associates the identification information of each of BS 12 , BS 23 , BS 36 , BS 14 , BS 45 , and BS 56 with the amount of increase in association with the condition “shortage of lack of rest> threshold”. Is stored.
  • the storage unit 280 associates the identification information of each of BS 12 , BS 23 , BS 36 , BS 14 , BS 45 , and BS 56 with the condition that “the duration of the absence of the family> threshold”. And information for associating the increase amount.
  • the determination unit 252 acquires the endocrine amount of serotonin from the secretion information generation unit 200 and refers to the correspondence information illustrated in FIG. 7, and when the secretion amount of serotonin exceeds a predetermined secretion amount threshold, It is determined that the condition “serotonin amount> threshold” is satisfied.
  • the adjustment unit 220 increases BS 12 , BS 23 , BS 36 , BS 14 , BS 45, and BS 56 corresponding to the condition by an increase amount corresponding to the condition. For example, the adjustment unit 220 increases the BS 56 by 0.6.
  • the determination unit 252 measures the duration of lack of rest based on the information acquired by the information acquisition unit 204. Specifically, the determination unit 252 determines whether or not the robot 40 is operating based on the information acquired by the information acquisition unit 204, and the continuous operation time of the robot 40 exceeds a predetermined time. If it does, start counting the duration of lack of rest. Then, with reference to the correspondence information shown in FIG. 7, the determination unit 252 determines that the condition of “shortage of lack of rest> threshold” is satisfied when the duration of lack of rest exceeds a predetermined threshold. to decide.
  • the adjustment unit 220 increases BS 12 , BS 23 , BS 36 , BS 14 , BS 45, and BS 56 corresponding to the condition by an increase amount corresponding to the condition. For example, the adjustment unit 220 increases the BS 56 by 0.6.
  • the determination unit 252 measures the duration of the non-existence state of the family based on the information acquired by the information acquisition unit 204. Specifically, the determination unit 252 determines whether a person recognized as a family by the robot 40 is included in the persons recognized based on the information acquired by the information acquisition unit 204. And the judgment part 252 starts the count of the continuation time of a family non-existing state, when the state judged that the person who learned as a family is not contained arises. Then, the determination unit 252 refers to the correspondence information illustrated in FIG. 7, and when the duration of the family non-existing state exceeds a predetermined threshold, “the duration of the family non-existing state> the threshold”. Judge that the condition is satisfied.
  • the adjustment unit 220 increases BS 12 , BS 23 , BS 36 , BS 14 , BS 45, and BS 56 corresponding to the condition by an increase amount corresponding to the condition.
  • the adjustment unit 220 increases the BS 56 by 0.5.
  • the coupling coefficient BS artificial synapses S on the path from artificial neuron N 1 to the artificial neuron N 3 is the strengthening, when information on the second input is input, tends artificial neuron N 3 is ignited. Therefore, in the emotion map 300 of FIG. 3, the “lost” emotion belonging to the delusion / split position is easily identified as the emotion of the robot 40.
  • the duration of lack of rest does not exceed the threshold, even if the artificial neuron corresponding to “relief” and “relax” fires, the feeling of “stray” is difficult to ignite, but the duration of lack of rest
  • the threshold value is exceeded, when the artificial neuron corresponding to “relief” and “relaxation” fires, the “stray” artificial neuron becomes easy to fire. Further, since the artificial neuron corresponding to “anxiety” and “fear” is likely to be fired, the artificial neuron corresponding to “maze” is more likely to be fired.
  • the illustration of the coupling coefficient BS is omitted.
  • the amount of increase in the coupling coefficient BS can be defined similarly to the amount of increase in BS shown in FIG. Thereby, when the robot 40 encounters a situation where it falls into the delusion / division position, each artificial neuron N associated with each emotion corresponding to the delusion / division position can be easily fired.
  • FIG. 8 is a flowchart showing the operation of each unit in the emotion identification system 100.
  • the NN calculation unit 230 performs initial setting of the parameters of the neural network.
  • the NN calculation unit 230 reads the initial parameter values from the storage unit 280, and initializes the neural network parameters (step 802).
  • a processing loop for each time is started in step 804.
  • step 806 the input information generation unit 210 and the secretion information generation unit 200 acquire information received by the information acquisition unit 204 from the robot 40.
  • step 808 the input information generation unit 210 generates input information to the input artificial neuron assigned to the first input and input information to the input artificial neuron assigned to the second input.
  • step 810 the secretion information generation unit 200 calculates the secretion amount of the endocrine substance based on the correspondence information described with reference to FIGS. 5 and 6 and the information acquired in step 806, for example.
  • step 811 the determination unit 252 determines whether the delusion / division condition is satisfied based on the information acquired in step 806. If it is determined that the delusion / division condition is satisfied (Y), the process proceeds to step 830. If it is determined that the delusion / division condition is not satisfied (N), the process proceeds to step 812. If the delusion / division condition is satisfied, in step 830, the adjustment unit 220 determines the increase amount of the coupling coefficient BS. For example, as described with reference to FIG. 7 and the like, the adjustment unit 220 determines an increase amount corresponding to the satisfied delusion / division condition.
  • step 832 the adjustment unit 220 determines the amount of expansion of each emotion belonging to the delusion / split position. For example, the adjustment unit 220 determines a larger amount of expansion of the range occupied by the emotion corresponding to the delusion / split position as the duration of lack of rest is longer. Further, the adjustment unit 220 may determine a larger amount of expansion of the range occupied by the emotion corresponding to the delusion / division position as the duration of the non-existence state of the family is longer. Note that the adjustment unit 220 reduces the range occupied by other emotions according to the amount of expansion of the range occupied by emotions corresponding to the delusion / split position. After the process of step 832, the process proceeds to step 812.
  • step 812 the adjustment unit 220 calculates the coupling coefficient BS of each artificial synapse S. For example, when the determination in step 811 is N, the adjustment unit 220 determines each coupling coefficient BS based on the endocrine amount determined in step 810. On the other hand, when the determination in step 811 is Y, the adjustment unit 220 determines each binding coefficient BS based on the sum of the binding coefficient BS determined based on the endocrine amount determined in step 810 and the increase / decrease amount determined in step 830. To decide.
  • step 814 the NN calculation unit 230 calculates the input I to each artificial neuron N by the formula described in relation to FIG.
  • step 816 the NN operation unit 230 calculates the internal state Vm of each artificial neuron N based on the input I to each artificial neuron N.
  • step 820 the determination unit 240 determines the artificial neuron N that is firing based on the internal state Vm and the threshold value T of each artificial neuron N.
  • step 822 the emotion identifying unit 260 determines the emotion of the robot 40 based on the firing artificial neuron. Thereby, the emotion identification unit 260 assigns an emotion corresponding to the firing artificial neuron as the emotion of the robot 40. The emotion identifying unit 260 may determine that the robot 40 feels more strongly the emotion corresponding to the artificial neuron N having a larger internal state Vm among the firing artificial neurons.
  • step 824 the control unit 250 controls each unit of the robot 40 based on the emotion determined in step 822.
  • the server 60 determines whether or not to end the loop. For example, when it is instructed to end the emotion generation process, it is determined to end the loop. If the loop is not terminated, the process returns to S804 to calculate the next time step. When the loop is finished, this flow is finished.
  • FIG. 9 shows an emotion map screen displayed on the robot 40.
  • FIG. 9 shows an emotion map screen when the delusion / division condition shown in FIG. 7 is not satisfied and the adjustment unit 220 has not expanded the range occupied by the emotion of the delusion / division position.
  • the control unit 250 of the server 60 displays the object 900 corresponding to the emotion map 300 on the display unit 162 of the robot 40. Specifically, the control unit 250 causes the control information to the robot 40 to include information indicating the range and emotion name occupied by each emotion in each concentric circle. In addition, the control unit 250 transmits information identifying the emotion corresponding to the fired artificial neuron N in the control information.
  • the information processing unit 130 of the robot 40 displays the object 900 on the display unit 162 based on the received control information.
  • the information processing unit 130 determines the range occupied by “reliable”, “relaxed”, and “reassuring” as shown in the object 900 , Emphasized from the range occupied by other emotions and displayed on the display unit 162.
  • the information processing unit 130 may cause the display unit 162 to display a range occupied by emotions of “safety”, “relaxation”, and “reassuring” in a color different from the range occupied by other emotions.
  • FIG. 10 shows an emotion map screen displayed on the robot 40.
  • FIG. 10 shows an emotion map screen when the delusion / division conditions shown in FIG. 7 are satisfied and the adjustment unit 220 expands the range of emotions in the delusion / division position.
  • the control unit 250 of the server 60 determines the range occupied by each emotion on each concentric circle based on the amount of expansion of the emotional occupation range received from the adjustment unit 220. Then, the control unit 250 causes the control information to the robot 40 to be transmitted by including information indicating the range and emotion name occupied by each determined emotion. In addition, the control unit 250 transmits information identifying the emotion corresponding to the fired artificial neuron N in the control information.
  • the information processing unit 130 of the robot 40 causes the display unit 162 to display the object 1000 based on the received control information.
  • the artificial synapse S on the path from the input of the neural network to the artificial neuron N corresponding to the “lost” feeling is easy to fire.
  • the artificial neuron N corresponding to the feelings of “safety” and “relaxing” the artificial neuron N corresponding to the feelings of “anxiety”, “fear”, and “lost” is ignited.
  • the system 10 when the robot 40 encounters a situation where the robot 40 falls into the delusion / split position, an emotion corresponding to the delusion / split position is easily generated. Moreover, since the emotion map in which the range occupied by the emotion corresponding to the delusion / split position is displayed on the display unit 162 of the robot 40, the emotion of the robot 40 can be presented in an easy-to-understand manner. As described above, according to the system 10, in the process of specifying the emotion of the robot 40, it is possible to appropriately handle a state in which a specific type of emotion is likely to be generated according to the situation.
  • the adjustment unit 220 sets the delusion / division position. Control is performed so that the corresponding emotion is likely to occur. However, even when the delusion / division condition is satisfied, the adjustment unit 220 may not easily cause an emotion corresponding to the delusion / division position.
  • emotions are assigned to each of the artificial neurons N.
  • emotions may not be assigned to the artificial neuron N.
  • the delusion / division condition is satisfied, by expanding the range occupied by the emotion corresponding to the delusion / division position, more artificial neurons N can be associated with the emotion of the delusion / division position. become. Thereby, it is possible to control so that an emotion corresponding to the delusion / split position is easily generated.
  • the emotion map 300 may be rotated around the center of the concentric circle in the emotion map 300.
  • the functions of the server 60 described above may be implemented by one or more computers. At least some functions of the server 60 may be implemented by a virtual machine. In addition, at least a part of the functions of the server 60 may be implemented in the cloud.
  • the robot 40 is an example of a target object. Various forms other than the robot can be adopted as the target object.
  • the target object may be a vehicle such as an automobile or a motorcycle, a home appliance, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

感情特定システムは、対象オブジェクトの感情を決定するための情報を取得する情報取得部と、情報に基づいて、複数の感情にそれぞれ対応づけられる判定要素がそれぞれ満たされるか否かを判定する判定部と、情報が予め定められた種別の感情に関する予め定められた条件に適合する場合に、複数の感情がマッピングされる空間において予め定められた種別の感情が占める範囲を拡大する調整部と、複数の感情のうち、判定部により、対応づけられている判定要素が満たされたと判定された感情を特定する感情特定部と、感情特定部によって特定された感情及び空間において複数の感情がそれぞれ占める範囲を示す情報を出力させる出力制御部とを備える。

Description

感情特定システム、システム及びプログラム
 本発明は、感情特定システム、システム及びプログラムに関する。
 ユーザと通話相手との会話を学習してユーザの問いかけに対する通話相手の返答を返答テーブルに蓄積する端末が知られている(例えば、特許文献1参照)。また、ユーザ情報、機器情報及び自身の現在の感情状態を入力して次回の感情状態を出力するニューラルネットを備える感情生成装置が知られている(例えば、特許文献2参照)。また、方向性人工シナプス接続性を有するレイヤ・ニューラルネット関係を有する複数の電子ニューロンを含む連想メモリに時空パターンを記憶する技術が知られている(例えば、特許文献3参照)。
 [先行技術文献]
 [特許文献]
 [特許文献1]特開2011-253389号公報
 [特許文献2]特開平10-254592号公報
 [特許文献3]特表2013-535067号公報
解決しようとする課題
 従来、対象オブジェクトの感情を特定する処理において、特定の状況に応じて特定種別の感情が生まれ易くなるという状態を適切に扱うことができないという課題があった。
一般的開示
 本発明の第1の態様においては、感情特定システムが提供される。感情特定システムは、対象オブジェクトの感情を決定するための情報を取得する情報取得部を備えてよい。感情特定システムは、情報に基づいて、複数の感情にそれぞれ対応づけられる判定要素がそれぞれ満たされるか否かを判定する判定部を備えてよい。感情特定システムは、情報が予め定められた種別の感情に関する予め定められた条件に適合する場合に、複数の感情がマッピングされる空間において予め定められた種別の感情が占める範囲を拡大する調整部を備えてよい。感情特定システムは、複数の感情のうち、判定部により、対応づけられている判定要素が満たされたと判定された感情を特定する感情特定部を備えてよい。感情特定システムは、感情特定部によって特定された感情及び空間において複数の感情がそれぞれ占める範囲を示す情報を出力させる出力制御部を備えてよい。
 調整部はさらに、情報取得部が取得した情報に基づいて、空間において範囲を拡大させる感情に対応づけられた1以上の判定要素が満たされ易くなるように、1以上の判定要素の判定に作用する演算パラメータを調整してよい。
 複数の判定要素は、情報取得部が取得した情報に基づく入力情報を入力とするニューラルネットワークに含まれる複数の人工ニューロンであってよい。
 複数の人工ニューロンには、複数の感情のうちのいずれかの感情が対応づけられており、感情特定部は、複数の感情のうち、複数の人工ニューロンのうち発火した人工ニューロンに対応づけられている感情を特定してよい。
 演算パラメータは、ニューラルネットワークに含まれる人工シナプスの結合係数であってよい。
 調整部は、空間における範囲を拡大させる感情に対応づけられた1以上の判定要素に接続される強結合性の人工シナプスの結合係数を増大させてよい。
 感情特定システムは、情報取得部が取得した情報に基づいて、1以上の内分泌物質の分泌量を示す分泌情報を生成する分泌情報生成部を備えてよい。調整部は、分泌情報が示す内分泌物質の分泌量に基づいて結合係数を調整するとともに、空間において予め定められた種別の感情が占める範囲を拡大する場合に、予め定められた種別の感情に対応づけられた1以上の判定要素に接続される結合係数を更に調整してよい。
 予め定められた種別の感情は、妄想・分裂ポジションに対応する感情であってよい。予め定められた条件は、対象オブジェクトが妄想・分裂ポジションに対応する予め定められた状況にある旨を判断するための条件であってよい。
 出力制御部は、空間において感情特定部によって特定された感情が空間において占める範囲を強調して表示させてよい。
 感情特定システムは、感情特定部によって特定された感情に応じて、対象オブジェクトを制御する制御部を備えてよい。
 本発明の第2の態様においては、システムが提供される。システムは、上記の感情特定システムを備えてよい。システムは、対象オブジェクトを備えてよい。
 本発明の第3の態様においては、コンピュータを、上記の感情特定システムとして機能させるためのプログラムが提供される。
 なお、上記の一般的開示は、必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションも、発明となりうる。
本実施形態に係るシステム10の全体構成の一例を概略的に示す。 ロボット40及びサーバ60の機能ブロック構成を概略的に示す。 複数の感情がマッピングされる感情マップ300を概略的に示す。 システム10が用いるニューラルネットワークの一部を概略的に示す。 蓄電池の残存容量と内分泌物質とを対応づける対応情報の一例である。 ノルアドレナリンの分泌量と結合係数BSとを対応づける結合係数対応情報の一例である。 妄想・分裂ポジションに対応する感情の範囲を拡大させる条件と結合係数との対応情報の一例を示す。 感情特定システム100における各部の動作を示すフローチャートである。 ロボット40に表示される感情マップ画面を示す。 ロボット40に表示される感情マップ画面を示す。
 以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
 図1は、本実施形態に係るシステム10の全体構成の一例を概略的に示す。システム10は、サーバ60と、ロボット40a、ロボット40b及びロボット40cとを備える。なお、サーバ60は、感情特定システムとして機能し得る。ロボット40a、ロボット40b及びロボット40cのそれぞれは、感情特定システムにおける対象オブジェクトの一例である。
 ロボット40a、ロボット40b及びロボット40cは、例えば家庭に配置される。ユーザ50aは、ロボット40aのユーザである。ユーザ50aは、ロボット40aが配置された家庭の家族や、その家庭を訪れた他人である。ロボット40aは、ユーザ50aと会話する等のやりとりを行う。同様に、ロボット40b及びロボット40cは、それぞれユーザ50b及びユーザ50cと会話する等のやりとりを行う。なお、ロボット40a、ロボット40b及びロボット40cは、店舗や事務所の受付等に配置されて、来訪した顧客に応対する等の利用形態も適用できる。ロボット40a、ロボット40b及びロボット40cの利用形態は、これらの利用形態に限られない。
 サーバ60は、ロボット40a、ロボット40b及びロボット40cとは遠隔に設けられる。サーバ60は、通信ネットワーク90を通じてロボット40a、ロボット40b及びロボット40cを制御することができる。例えば、サーバ60は、ロボット40aで検出されたセンサ情報を通信ネットワーク90を通じて取得して、取得したセンサ情報に基づいてロボット40aの感情やロボット40aに行わせる動作を決定して、通信ネットワーク90を通じて制御情報を送信してロボット40aに指示する。
 なお、ロボット40b及びロボット40cは、ロボット40aと略同一の機能を有する。システム10の説明において、ロボット40a、ロボット40b及びロボット40cを、ロボット40と総称する場合がある。また、システム10では、ロボット40の感情を特定したり動作を決定したりする処理を、サーバ60が実行する。しかし、それらの処理の一部又は全てを、ロボット40が実行してもよい。
 ロボット40は、ユーザ50の音声及び画像や、ロボット40が受けた外力の情報等、センサで検出した各種の情報を取得して、サーバ60に送信する。サーバ60は、ロボット40から取得した情報に基づいて、ニューラルネットワーク(NN)を用いて、ロボット40を制御するための制御情報を生成する。
 なお、サーバ60は、感情の特定に作用する作用情報として、生体における内分泌物質の量に対応する情報を用いて、生成した入力情報から感情を特定する。例えば、サーバ60は、ドーパミン量、ノルアドレナリン量、バソプレッシン量、セロトニン量等の脳内分泌物質の分泌量をパラメータとして用いたニューラルネットワークを用いて、感情を特定する。ニューラルネットワークにおいては、ドーパミン量の増加は、「嬉しい」に類する感情の生成に作用し得る。また、ノルアドレナリン量の増加は、「怒り」に類する感情の生成に作用し得る。また、セロトニン量の増加は、「嬉しい」や「怒り」等の感情の強さを抑制する方向に作用し得る。ニューラルネットワークにより、これらの内分泌物質の分泌量の総和によって、どのような感情が生まれ易くなるかが決まる。
 感情を特定する処理について具体的に説明する。サーバ60は、ロボット40から取得したセンサ情報から、ニューラルネットワークへの入力情報を生成する。また、サーバ60は、センサ情報から、内分泌物質の分泌量を決定する。例えば、電池残量が少ない場合に、ノルアドレナリン量を増大させる。サーバ60は、内分泌物質の作用を受けた結合係数で人工ニューロンが結ばれたニューラルネットワークを用いて、ロボット40の感情を特定する。
 ここで、サーバ60は、例えばロボット40が連続動作時間が長くなり、ロボット40が休息不足であるかのような状況にある場合に、心理学における妄想・分裂ポジションに対応する感情が生まれ易くなるように、ニューラルネットワークに関する処理を制御する。例えば、サーバ60は、妄想・分裂ポジションに属する感情に対応する人工ニューロンに作用する人工シナプスの結合係数を増大させる。また、サーバ60には、複数の感情がマッピングされる感情マップにおいて、妄想・分裂ポジションに対応する感情が感情マップ内に占める範囲を拡大する。なお、妄想・分裂ポジションに属する感情とは、例えば分裂機制の行動に繋がり易い心理状態を表す感情である。
 サーバ60は、ニューラルネットワークを用いて特定したロボット40の感情を示す情報と、感情マップにおいて拡大される感情を示す情報を含む制御情報を、ロボット40に送信する。ロボット40は、サーバ60から受信した制御情報に基づいて感情マップを表示して、サーバ60により特定されたロボット40の感情を感情マップ上で強調表示する。また、サーバ60は、妄想・分裂ポジションに属する感情が特定された場合に、分裂機制のような妄想・分裂ポジションに対応する行動を行わせる指示を、制御情報に含めてよい。これにより、人間らしい心理状態をロボット40に持たせることができる。このように、システム10によれば、ロボット40の感情を特定する処理において、ロボット40が受けた状況に応じて特定の感情が生成され易くなることを適切に扱うことができる。
 図2は、ロボット40及びサーバ60の機能ブロック構成を概略的に示す。まず、ロボット40の機能ブロック構成について説明する。ロボット40は、センサ部120と、情報処理部130と、制御対象160と、通信部102とを有する。情報処理部130は、MPU等のプロセッサであってよい。通信部102は、サーバ60との通信を担う。通信部102は、ネットワークIF等の通信デバイスであってよい。
 制御対象160は、後述する表示部を含む。制御対象160は、スピーカを含む。制御対象160はまた、ロボット40の肢部や頭部等の可動部を駆動するモータ等を含む。
 センサ部120は、マイク、ジャイロセンサ、モータセンサ、カメラ、電池残量センサ、赤外線センサ等の各種のセンサを有する。センサ部120のマイクは、周囲の音声を取得する。例えば、センサ部120のマイクは、ユーザ50の音声を取得する。センサ部120のカメラは、可視光によって撮影して動画や静止画の画像情報を生成する。センサ部120の赤外線センサは、赤外線により周囲の物体を検出する。センサ部120のジャイロセンサは、ロボット40全体及びロボット40の各部の角速度を検出する。センサ部120のモータセンサは、ロボット40の可動部を駆動するモータの駆動軸の回転角度を検出する。センサ部120の電池残量センサは、ロボット40が備える電池の残存容量を検出する。
 センサ部120は、マイクで取得された音声データ、カメラで撮影された画像、ジャイロセンサで検出された角速度、モータセンサで検出された回転角度、電池残量センサで検出した残存容量、赤外線センサで検出した物体情報等の各種のセンサデータを、情報処理部130に出力する。情報処理部130は、取得したセンサ信号を通信部102に供給して、サーバ60へ送信させる。また、情報処理部130は、サーバ60から取得した制御情報に基づいて、ロボット40のスピーカから発話させたり、ロボット40の肢部を動作させる。
 次に、サーバ60の機能ブロック構成について説明する。サーバ60は、処理部270と、通信部202と、格納部280とを有する。処理部270は、分泌情報生成部200と、入力情報生成部210と、調整部220と、感情特定部260と、制御部250と、判断部252とを備える。感情特定部260は、NN演算部230と判定部240とを有する。通信部202は、情報取得部204を有する。
 通信部202は、ロボット40との通信を担う。通信部202は、ネットワークIF等の通信デバイスであってよい。格納部280は、ハードディスク装置、フラッシュメモリ等の記憶媒体を有する。また、格納部280は、RAM等の揮発性記憶装置を有する。格納部280は、処理部270が実行時に読み出すプログラムコードや各種の一時データの他、処理部270の処理の実行に必要なデータ等を格納する。
 情報取得部204は、ロボット40の感情を決定するための情報を取得する。例えば、情報取得部202は、ロボット40のセンサ部120で検出された情報を、ネットワーク90を通じて取得する。判定部240は、情報取得部202が取得した情報に基づいて、複数の感情にそれぞれ対応づけられる判定要素がそれぞれ満たされるか否かを判定する。
 調整部220は、情報取得部202が取得した情報が予め定められた種別の感情に関する予め定められた条件に適合する場合に、複数の感情マップにおいて予め定められた種別の感情が占める範囲を拡大する。例えば、判断部252は、情報取得部202が取得した情報が、予め定められた種別の感情に関する予め定められた条件に適合するか否かを判断する。調整部220は、判断部252によって情報取得部202が取得した情報が予め定められた条件に適合すると判断された場合に、複数の感情マップにおいて予め定められた種別の感情が占める範囲を拡大する。
 なお、感情マップは、感情がマッピングされる空間の一例である。また、予め定められた種別の感情は、例えば、妄想・分裂ポジションに対応する感情である。また、予め定められた条件は、ロボット40が妄想・分裂ポジションに対応する予め定められた状況にある旨を判断するための予め定められた条件である。なお、予め定められた種別の感情は、妄想・分裂ポジションと抑鬱ポジションとの間を遷移する心理状況を示す感情であってよい。
 感情特定部260は、複数の感情のうち、判定部240により、対応づけられている判定要素が満たされたと判定された感情を特定する。制御部250は、感情特定部260によって特定された感情と、感情マップにおいて複数の感情がそれぞれ占める範囲とを示す情報を出力させる。例えば、制御部250は、当該感情及び当該範囲を示す情報を、通信部202からロボット40に送信させる。
 調整部220はさらに、情報取得部204が取得した情報に基づいて、複数の判定要素のうち、感情マップにおいて範囲を拡大させる感情に対応づけられた1以上の判定要素が満たされ易くなるように、1以上の判定要素の判定に作用する演算パラメータを調整する。これにより、情報取得部204が取得した情報から、ロボット40が妄想・分裂ポジションに対応する状況にあると判断される場合に、妄想・分裂ポジションに対応する感情がロボット40の感情として特定され易くなるようにすることができる。
 複数の判定要素は、情報取得部204が取得した情報に基づく入力情報を入力とするニューラルネットワークに含まれる複数の人工ニューロンであってよい。複数の人工ニューロンには、複数の感情のうちのいずれかの感情が対応づけられていてよい。感情特定部260は、複数の感情のうち、複数の人工ニューロンのうち発火した人工ニューロンに対応づけられている感情を特定してよい。なお、演算パラメータは、ニューラルネットワークに含まれる人工シナプスの結合係数であってよい。調整部220は、感情マップにおける範囲を拡大させる感情に対応づけられた1以上の人工ニューロンに接続される強結合性の人工シナプスの結合係数を増大させる。
 分泌情報生成部200は、情報取得部204が取得した情報に基づいて、1以上の内分泌物質の分泌量を示す分泌情報を生成する。そして、調整部220は、分泌情報が示す内分泌物質の分泌量に基づいて結合係数を調整するとともに、感情マップにおいて予め定められた種別の感情が占める範囲を拡大する場合に、予め定められた種別の感情に対応づけられた1以上の判定要素に接続される結合係数を更に調整する。これにより、内分泌に応じたシナプス結合の調整に加えて、ロボット40の状況に応じて特定種別の感情が生じ易くなるように調整することができる。
 なお、制御部250は、感情マップにおいて感情特定部260によって特定された感情が、感情マップにおいて占める範囲を強調して表示させる。これにより、ユーザ50は、ロボット40の感情を容易に認識することができる。また、ロボット40が妄想・分裂ポジションに対応する状況にあると判断された場合には、感情マップにおいて妄想・分裂ポジションに対応する感情が占める範囲が拡大されて表示される。これにより、ロボット40の心情を容易に認識することができる。
 また、制御部250は、感情特定部260によって特定された感情に応じて、ロボット40を制御する。例えば、感情特定部260によって「嬉しい」の感情が決定された場合、制御部250は、嬉しさを表す行動を実行させる制御情報を生成してロボット40へ送信させる。また、制御部250は、明るい口調の音声をロボット40のスピーカから出力する制御情報を生成して、ロボット40にユーザと会話させてよい。一方、制御部250は、ロボット40の感情として妄想・分裂ポジションに対応する感情が特定された場合、分裂機制のような妄想・分裂ポジションに対応する行動を行わせる制御情報を、通信部202からロボット40に送信させる。これにより、ロボット40の心情を、ロボット40の行動等で適切に表現することができる。
 なお、サーバ60の各部の機能、コンピュータにより実現されてよい。例えば、処理部270は、MPU等のプロセッサ等によって実現され、格納部280は、不揮発性メモリ等の記録媒体により実現されてよい。格納部280は、プロセッサによって実行されるプログラムを格納してよい。プロセッサが当該プログラムを実行することで、分泌情報生成部200、入力情報生成部210と、調整部220と、NN演算部230と、判定部240と、感情特定部260と、判断部252と、制御部250とが実装され、格納部280の制御が実現されてよい。当該プログラムは、プロセッサが光ディスク等の記録媒体290から読み取られて格納部280に格納されてよいし、ネットワークを通じてサーバ60に提供されて格納部280に格納されてよい。格納部280及び記録媒体290は、コンピュータ読み取り可能な非一時的記録媒体であってよい。
 図3は、複数の感情がマッピングされる感情マップ300を概略的に示す。感情マップ300において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。
 NN演算部230が演算対象とするニューラルネットワークは、感情マップ300に示す各感情に割り当てられた人工ニューロンを含む。ニューラルネットワークはまた、感情マップ300において同心円の最も内側に位置する第1入力及び第2入力にも、それぞれ入力用の複数の人工ニューロンが割り当てられている。第1入力及び第2入力に割り当てられたそれぞれの入力用の人工ニューロンには、情報取得部204が取得した情報から入力情報生成部210が生成した入力情報が入力される。そして、概ね内側から外側に向かって人工ニューロンが人工シナプスで接続されて、ニューラルネットワークを形成する。なお、入力情報が、第1入力に割り当てられた入力用の人工ニューロンに入力されるか、第2入力に割り当てられた入力用の人工ニューロンに入力されるか、第1入力に割り当てられた入力用の人工ニューロン及び第2入力に割り当てられた入力用の人工ニューロンの両方に入力されるかは、設計によって定められてよい。第1入力に割り当てられた入力用の人工ニューロンは、概して感情マップ300において左側に位置する感情に対応する人工ニューロンに繋げられている。そのため、第1入力に割り当てられた入力用の人工ニューロンに入力情報が入力された場合、感情マップ300において左側に位置する感情が生成され易くなる。また、第2入力に割り当てられた入力用の人工ニューロンは、概して感情マップ300において右側に位置する感情に対応する人工ニューロンに繋げられている。そして、第2入力に割り当てられた入力用の人工ニューロンに入力情報が入力された場合、感情マップ300において右側に位置する感情が生成され易くなる。
 NN演算部230は、入力情報に基づいて繰り返しニューラルネットワークの演算を行い、判定部240は、各人工ニューロンの発火状態を判定する。感情特定部260は、各人工ニューロンの発火状態からロボット40の感情を判定する。例えば、感情特定部260は、発火した人工ニューロンが割り当てられている感情を、ロボット40が持つ1つの感情として判定する。
 感情マップ300において、同心円より上側には、概ね、快い心情を表す感情が配置される。また、同心円より下側には、概ね、不快な心情を表す感情が配置される。ここで、感情マップ300には、妄想・分裂ポジションに属する感情が含まれる。妄想・分裂ポジションに属する感情は、概ね、同心円の中心から横軸に沿う領域に配置される感情である。感情マップ300において妄想・分裂ポジションに属する感情は、「迷い」、「混乱動乱」、「凄い」、「怖い(もの凄い)」等である。同心円の中心から横軸に沿った領域は、同心円の中心より上側の快い心情と中心より下側の不快な心情とが交錯したような領域である。つまり、妄想・分裂ポジションは、いわば混沌とした無定形な心理状態を表すといえる。図3に示される妄想・分裂ポジション内の感情は、妄想・分裂ポジションと抑鬱ポジションとの間を遷移する心理状況を示す感情でもある。
 サーバ60は、ロボット40が妄想・分裂ポジションに陥るような状況に遭遇した場合には、妄想・分裂ポジションに対応する感情が生まれ易くなるように制御する。また、そのような状況に遭遇した場合には、妄想・分裂ポジションに対応する「迷い」等の感情が占める範囲を拡大した感情マップをロボット40に表示させることにより、ロボット40の心情をより分かり易く提示する。これらの具体的な処理内容については後述する。
 図4は、システム10が用いるニューラルネットワークの一部を概略的に示す。図示されるニューラルネットワークの一部は、人工ニューロンN、N、N、N、N及びNと、人工シナプスS12、S14、S23、S25、S36、S42、S43、S45、S53、S56とを含む。人工ニューロンは、生体におけるニューロンに対応する。人工シナプスは、生体におけるシナプスに対応する。
 Eは、検出信号に基づく入力情報を示す。人工ニューロンNは、入力用の人工ニューロンである。人工ニューロンNには、それぞれセンサの検出信号に基づいて生成されたn個の入力情報E ・・・入力情報E が入力される。
 人工シナプスS12は、人工ニューロンNと人工ニューロンNとを接続する人工シナプスである。特に、人工シナプスS12は、人工ニューロンNの出力を、人工ニューロンNに入力する人工シナプスである。人工シナプスS14は、人工ニューロンNと人工ニューロンNとを接続する人工シナプスである。特に、人工シナプスS14は、人工ニューロンNの出力を、人工ニューロンNに入力する人工シナプスである。なお、j、kを整数として、人工ニューロンNの出力を人工ニューロンNに入力する人工シナプスを、人工シナプスSjkと表記する。
 ここで、iを整数として、各人工ニューロンをNで表記するものとする。Nは、Nのステータスを表すSと、Nが表す人工ニューロンの内部状態を表すVmと、Nの発火の閾値を表すTとをパラメータとして持つ。また、人工シナプスSjkは、パラメータとして、結合係数BSjkを持つ。なお、本実施形態においては、人工ニューロンを、その添え字を省略して人工ニューロンNと総称する場合がある。また、人工シナプスを、その添え字を省略して人工シナプスSと総称する場合がある。同様に、人工ニューロンのパラメータについても、それらの添え字を省略して、内部情報Vm、閾値T、ステータスSと総称する場合がある。
 人工ニューロンNのステータスS、内部状態Vm、及び閾値Tは、時刻の進展とともに更新され得るパラメータである。ステータスSは、ニューロンの発火状態に関する情報であり、人工ニューロンNが発火状態にあるか非発火状態にあるかを少なくとも示す。内部状態Vmは、ニューロンの膜電位に関する情報であり、人工ニューロンNの内部状態又は出力を表すパラメータの一例である。
 また、人工シナプスSのパラメータである結合係数BSは、時刻の進展とともに更新され得るパラメータである。結合係数BSは、シナプスの可塑性に関する情報であり、人工シナプスSが結合する人工ニューロンN同士の間の結合強度を示す。
 NN演算部230は、入力情報から、ニューラルネットワークにおける上述したパラメータを更新して、各人工ニューロンNの内部状態Vmを算出する。なお、本実施形態において、人工ニューロンNは、内部状態Vmが閾値Tを超えた場合に、ステータスSが「発火」状態となる。発火状態になると、人工ニューロンNからは、予め定められた時間にわたって予め定められた信号を出力する。予め定められた時間が経過すると、NのステータスSは末発火に戻る。
 ここで、NN演算部230による演算内容を、Nを取り上げてより具体的に説明する。NN演算部230は、Nへの入力Iを、BS12×Vm×f(S)+BS42×Vm×f(S)により算出する。ここで、f(S)は、Sが未発火を表す値の場合は0を返し、Sが上昇相又は下降相を示す値の場合は1を返す関数である。なお、このf(S)は、ニューロンが発火した場合のみシナプスが活動電位を伝達するモデルに対応する。なお、f(S)=1であってもよい。これは、ニューロンの発火状態によらず膜電位を伝達するモデルに対応する。f(S)として、膜電位の他の伝達モデルに対応する関数を適用してよい。
 一般には、NN演算部230は、Nへの入力Iを、ΣBSji×Vm×f(S)+Σ により算出する。NN演算部230は、現時刻におけるBSji、Vm、S、Eを用いて、次の時刻におけるNへの入力I及びS等を算出する。NN演算部230は、これを時間的に繰り返すことにより、各人工ニューロンNのステータスSをリアルタイムに決定する。そして、判定部240は各人工ニューロンNのステータスSを判定し、感情特定部260は判定部240の判定結果からロボット40の感情を判定する。例えば、感情特定部260は、図3における「嬉しい」という感情が割り当てられた人工ニューロンが発火した場合、ロボット40の感情として「嬉しい」を特定する。
 ここで、調整部220は、ロボット40から取得した情報に基づいて、人工シナプスSの結合係数BSを調整する。例えば、ロボット40が有する蓄電池の残量である残存容量が50%以下であることが検出された場合、分泌情報生成部200は、内部変数としての「ノルアドレナリン」の分泌量を増加させる。そして、調整部220は、「ノルアドレナリン」の分泌量に基づいて、「ノルアドレナリン」に対応づけられた人工シナプスSの結合係数BSを調整する。後述するように、「ノルアドレナリン」の生成は、例えば、「不安」や「怒り」等の感情に対応する人工感情ニューロンが発火する経路上の人工シナプスSの結合係数BSを強化するように設定されている。これにより、「ノルアドレナリン」は、「不安」や「怒り」等の感情が生成され易くなる方向に作用する。
 内部分泌物質の分泌量は特定の人工シナプスSの結合係数BSに対応づけられている。これにより、ロボット40で取得した情報によって、内部分泌物質の分泌量を介して、ニューラルネットワークにおける各所の人工シナプスSにおける信号の伝わり易さを変えることができる。そのため、ロボット40で取得した情報から多様な感情を生み出すことが可能になる。
 図5は、蓄電池の残存容量と内分泌物質とを対応づける対応情報の一例である。格納部280は、蓄電池の残存容量の複数の値に対応づけて、ノルアドレナリンを示す情報を格納する。より具体的には、格納部280は、蓄電池の残存容量のそれぞれに対応づけて、ノルアドレナリンの分泌量の増加量を示す情報を格納する。なお、分泌量の増加量は、NN演算部230が使用する内部変数が表す分泌量の上限値1に対する割合で示す。これにより、蓄電池の残存容量が減少するほど、ノルアドレナリンの分泌量が多くなり、「不安」や「怒り」の感情が生成され易くなる。
 図6は、ノルアドレナリンの分泌量と結合係数BSとを対応づける結合係数対応情報の一例である。格納部280は、ノルアドレナリンの総分泌量に対応づけて、人工シナプスS14の結合係数BS14の増加係数と、人工シナプスS45の結合係数BS45の増加係数と、人工シナプスS43の結合係数BS43の増加係数とを対応づける情報を格納する。なお、ここで取り上げる人工シナプスSは、強結合で人工ニューロンNを接続しているとする。
 図示されるように、BS14の増加係数及びBS45の増加係数には、ノルアドレナリン量が多くなるほどより大きい値が対応づけられる。一方、BS43の増加係数には、ノルアドレナリン量が多くなるほどより小さい値が対応づけられる。これにより、例えば、図4に示すニューラルネットワークにおいて、NからNに向かう方向より、NからNに向かう方向の方が、入力情報により生じた信号が伝わり易くなる。そのため、NからNに向かう方向に配置された人工ニューロンが、より発火し易くなる。そのため、例えば図3に示す感情マップにおいて、ノルアドレナリンが増えるほど、同心円の中心部に対して特定の方向に配置された感情、例えば「不安」や「怖い」という感情が発火し易くなる。そのため、人間が空腹な場合に生じる感情に似た感情がロボット40で生まれ易くなるようにすることができる。
 なお、ここでは、人工シナプスSの結合係数BSを、出力先の人工ニューロンNを発火させ易くする方向に調整する場合について説明した。しかし、人工シナプスSの結合係数BSを、出力先の人工ニューロンNを発火させにくくする方向に調整できるように、増加係数が設定されていてもよい。例えば、人工シナプスSが強結合の場合は、増加係数を小さくすることで、出力先の人工ニューロンNを発火させにくくすることができる。一方、人工シナプスSが抑制結合で人工ニューロンNを接続している場合、増加係数を大きくすることで、出力先の人工ニューロンNを発火させにくくすることができ、増加係数を小さくすることで、出力先の人工ニューロンNを発火させ易くすることができる。
 調整部220は、結合係数対応情報を参照して、各内部分泌物質の総分泌量に応じた量だけ、対応する結合係数BSを調整する。これにより、ロボット40で取得された情報から、結合係数BSの調整量を複雑に調整することができ、ひいては、多様な組み合わせで感情人工ニューロンを発火させることができる。しかも、ロボット40で取得された情報と内分泌物質との関係、及び、各内分泌物質と結合係数BSとの関係を、人間に置き換えて意味づけして対応づけることで、人間にとって違和感のない自然な感情を生成できる。
 なお、図5に関連して、ロボット40から取得する情報としての蓄電池の残存容量とノルアドレナリンとの対応関係を例示した。また、図6に関連して、ノルアドレナリンと結合係数BSとの対応関係を例示した。しかし、これらの情報の対応関係は、ニューラルネットワークおける内分泌物質の作用を分かり易く説明するために例示したものである。図5及び図6に関連して説明した対応関係以外の対応関係を定めてよいことは言うまでもない。
 図7は、妄想・分裂ポジションに対応する感情の範囲を拡大させる条件と結合係数との対応情報の一例を示す。図7に示す妄想・分裂条件は、妄想・分裂ポジションに対応する感情が占める範囲を拡大させる場合に満たされるべき条件である。結合係数情報は、人工シナプスを特定する情報と、結合係数の増加量を示す情報を含む。なお、人工ニューロンN、N、N、N、N及びNはそれぞれ、感情マップ300における第2入力、「安心」、「安穏」、「不安」、「恐怖」及び「迷い」に対応づけられた人工ニューロンNであるとする。また、各人工ニューロンNの間の人工シナプスSは、強結合性の人工シナプスであるとする。
 格納部280は、「セロトニン量>閾値」という条件に対応づけて、BS12、BS23、BS36、BS14、BS45、BS56のそれぞれの識別情報と増加量を対応づける情報を格納する。格納部280は、「休息不足の継続時間>閾値」という条件に対応づけて、BS12、BS23、BS36、BS14、BS45、BS56のそれぞれの識別情報と増加量を対応づける情報を格納する。また、格納部280は、「家族の非存在状態の継続時間>閾値」という条件に対応づけて、同様にBS12、BS23、BS36、BS14、BS45、BS56のそれぞれの識別情報と増加量を対応づける情報を格納する。
 判断部252は、分泌情報生成部200からセロトニンの内分泌量を取得して、図7に示す対応情報を参照して、セロトニンの分泌量が予め定められた分泌量閾値を超えた場合に、「セロトニン量>閾値」の条件が満たされたと判断する。この場合、調整部220は、当該条件に対応するBS12、BS23、BS36、BS14、BS45及びBS56を、当該条件に対応する増加量だけ増加させる。例えば、調整部220は、BS56を0.6だけ増加させる。
 判断部252は、情報取得部204が取得した情報に基づいて、休息不足の継続時間を計測する。具体的には、判断部252は、情報取得部204が取得した情報に基づいてロボット40が動作中であるか否かを判断して、ロボット40の連続動作時間が予め定められた時間を超えた場合に、休息不足の継続時間のカウントを開始する。そして、判断部252は、図7に示す対応情報を参照して、休息不足の継続時間が予め定められた閾値を超えた場合に、「休息不足の継続時間>閾値」の条件が満たされたと判断する。この場合、調整部220は、当該条件に対応するBS12、BS23、BS36、BS14、BS45及びBS56を、当該条件に対応する増加量だけ増加させる。例えば、調整部220は、BS56を0.6だけ増加させる。
 また、判断部252は、情報取得部204が取得した情報に基づいて、家族の非存在状態の継続時間を計測する。具体的には、判断部252は、情報取得部204が取得した情報に基づいて認識された人物の中に、ロボット40が家族として学習した人物が含まれているか否かを判断する。そして判断部252は、家族として学習した人物が含まれていないと判断された状態が生じた場合に、家族非存在状態の継続時間のカウントを開始する。そして、判断部252は、図7に示す対応情報を参照して、家族非存在状態の継続時間が予め定められた閾値を超えた場合に、「家族の非存在状態の継続時間>閾値」の条件が満たされたと判断する。この場合、調整部220は、当該条件に対応するBS12、BS23、BS36、BS14、BS45及びBS56を、当該条件に対応する増加量だけ増加させる。例えば、調整部220は、BS56を0.5だけ増加させる。
 これにより、人工ニューロンNから人工ニューロンNに至る経路上の人工シナプスSの結合係数BSが強化され、第2入力に情報が入力された場合に、人工ニューロンNが発火し易くなる。そのため、図3の感情マップ300において、妄想・分裂ポジションに属する「迷い」の感情が、ロボット40の感情として特定され易くなる。例えば休息不足の継続時間が閾値を超えていない場合は、「安心」及び「安穏」に対応する人工ニューロンが発火しても「迷い」の感情は発火しにくい一方で、休息不足の継続時間が閾値を超えている場合は、「安心」及び「安穏」に対応する人工ニューロンが発火すると「迷い」の人工ニューロンが発火し易くなる。また、「不安」及び「恐怖」に対応する人工ニューロンが発火し易くなるので、「迷い」に対応する人工ニューロンが更に発火し易くなる。
 なお、図7では、「混乱動乱」に対応する人工ニューロンや、図3の感情マップ300における「凄い」及び「怖い(もの凄い)」にそれぞれ対応する人工ニューロンに接続された経路上の人工シナプスSの結合係数BSについての図示を省略した。しかし、これらの結合係数BSの増加量も、図7に示すBSの増加量と同様に定義できる。これにより、ロボット40が妄想・分裂ポジションに陥る状況に遭遇した場合に、妄想・分裂ポジションに対応する各感情に対応づけられた各人工ニューロンNを発火させ易くすることができる。
 図8は、感情特定システム100における各部の動作を示すフローチャートである。感情生成処理を開始することが指示されると、ステップ802において、NN演算部230は、ニューラルネットワークのパラメータの初期設定を行う。例えば、NN演算部230は、格納部280からパラメータの初期値を読み出して、ニューラルネットワークのパラメータを初期化する(ステップ802)。初期設定が完了すると、ステップ804において、時刻毎の処理ループを開始する。
 ステップ806において、入力情報生成部210及び分泌情報生成部200は、情報取得部204がロボット40から受信した情報を取得する。ステップ808において、入力情報生成部210は、第1入力に割り当てられた入力用の人工ニューロンへの入力情報と、第2入力に割り当てられた入力用の人工ニューロンへの入力情報を生成する。ステップ810において、分泌情報生成部200は、例えば図5、図6等に関連して説明した対応情報と、ステップ806で取得した情報とに基づいて、内分泌物質の分泌量を算出する。
 ステップ811において、判断部252は、ステップ806で取得した情報に基づいて、妄想・分裂条件が満たされたか否かを判断する。妄想・分裂条件が満たされた(Y)と判断した場合はステップ830に処理を移行し、妄想・分裂条件が満たされていない(N)と判断した場合はステップ812に処理を移行する。妄想・分裂条件が満たされている場合は、ステップ830において、調整部220は結合係数BSの増加量を決定する。例えば、調整部220は、図7等に関連して説明したように、満たされた妄想・分裂条件に対応する増加量を決定する。
 続いて、ステップ832において、調整部220は、妄想・分裂ポジションに属する各感情の拡大量を決定する。例えば、調整部220は、休息不足の継続時間が長いほど、妄想・分裂ポジションに対応する感情が占める範囲の拡大量を大きく決定する。また、調整部220は、家族の非存在状態の継続時間が長いほど、妄想・分裂ポジションに対応する感情が占める範囲の拡大量を大きく決定してよい。なお、調整部220は、妄想・分裂ポジションに対応する感情が占める範囲の拡大量に応じて、他の感情が占める範囲を減少させる。ステップ832の処理の後、ステップ812に処理を移行する。
 ステップ812において、調整部220は、各人工シナプスSの結合係数BSを算出する。例えば、ステップ811の判断がNの場合、調整部220は、ステップ810で決定された内分泌量に基づいて、各結合係数BSを決定する。一方、ステップ811の判断がYの場合、調整部220は、ステップ810で決定された内分泌量に基づいて決定した結合係数BSと、ステップ830で決定した増減量との和により、各結合係数BSを決定する。
 続いて、ステップ814において、NN演算部230は、図4等に関連して説明した式により、各人工ニューロンNへの入力Iを算出する。続いて、ステップ816において、NN演算部230は、各人工ニューロンNへの入力Iに基づいて、各人工ニューロンNの内部状態Vmを算出する。
 続いて、ステップ820において、判定部240は、各人工ニューロンNの内部状態Vm及び閾値Tに基づいて、発火している人工ニューロンNを判定する。ステップ822において、感情特定部260は、発火している人工ニューロンに基づいて、ロボット40の感情を判定する。これにより、感情特定部260は、ロボット40の感情として、発火している人工ニューロンに対応する感情を割り当てる。なお、感情特定部260は、発火している人工ニューロンのうち、内部状態Vmがより大きい人工ニューロンNに対応する感情を、ロボット40がより強く感じていると判断してよい。続いて、ステップ824において、制御部250は、ステップ822において判定された感情に基づいて、ロボット40の各部を制御する。
 S830において、サーバ60は、ループを終了するか否かを判断する。例えば、感情生成処理を終了することが指示された場合に、ループを終了すると判断する。ループを終了しない場合、S804に戻り、更に次の時時間ステップの計算を行う。ループを終了する場合、このフローを終了する。
 図9は、ロボット40に表示される感情マップ画面を示す。図9は、図7に示す妄想・分裂条件が満たされておらず、調整部220が妄想・分裂ポジションの感情が占める範囲を拡大していない場合の感情マップ画面を示す。
 サーバ60の制御部250は、感情マップ300に対応するオブジェクト900を、ロボット40の表示部162に表示させる。具体的には、制御部250は、各同心円内において各感情が占める範囲及び感情名を示す情報を、ロボット40への制御情報に含めて送信させる。また、制御部250は、発火した人工ニューロンNに対応する感情を識別する情報を制御情報に含めて送信させる。
 ロボット40の情報処理部130は、受信した制御情報に基づいて、表示部162にオブジェクト900を表示させる。「安心」、「安穏」及び「心強い」に対応する人工ニューロンが発火した場合、情報処理部130は、オブジェクト900に示されるように、「安心」、「安穏」及び「心強い」が占める範囲を、他の感情が占める範囲より強調して、表示部162に表示させる。例えば、情報処理部130は、「安心」、「安穏」及び「心強い」の感情が占める範囲を、他の感情が占める範囲とは異なる色で表示部162に表示させてよい。
 図10は、ロボット40に表示される感情マップ画面を示す。図10は、図7に示す妄想・分裂条件が満たされており、調整部220が妄想・分裂ポジションの感情の占有範囲を拡大した場合の感情マップ画面を示す。
 サーバ60の制御部250は、制御部250は、調整部220から受け取った感情の占有範囲の拡大量に基づいて、各同心円上の各感情が占める範囲を決定する。そして、制御部250は、決定した各感情が占める範囲及び感情名を示す情報を、ロボット40への制御情報に含めて送信させる。また、制御部250は、発火した人工ニューロンNに対応する感情を識別する情報を制御情報に含めて送信させる。
 ロボット40の情報処理部130は、受信した制御情報に基づいて、表示部162にオブジェクト1000を表示させる。図10に示す例では、妄想・分裂条件が満たされているため、ニューラルネットワークの入力から「迷い」の感情に対応する人工ニューロンNへの経路上の人工シナプスSが発火し易くなっている。これにより、「安心」及び「安穏」の感情に対応する人工ニューロンNに加えて、「不安」、「恐怖」及び「迷い」の感情に対応する人工ニューロンNが発火している。
 また、妄想・分裂条件が満たされているため、妄想・分裂ポジションに属する「迷い」及び「混乱動乱」、「凄い」及び「怖い(もの凄い)」の感情が占める範囲が拡大される。一方、「迷い」及び「凄い」の拡大に応じて、「迷い」及び「凄い」の感情と同心円上にマッピングされる「愛しい」、「楽しい」、「心強い」、「怖い」、「哀しい」、「許せない」、「悲しい」、「惨い」、「欲しい」及び「嬉しい」の感情が占める範囲は、縮小して表示される。また、「混乱動乱」及び「怖い(もの凄い)」の感情と同心円上にマッピングされる「誇らしい」、「やさしい」、「恨しい」、「悔しい」、「憎い」、「居た堪えれない」、「疚しい」及び「素晴らしい」の感情が占める範囲は、縮小して表示される。そのため、ユーザ50は、ロボット40の状況や心情を容易に認識することができる。
 以上に説明したように、システム10によれば、ロボット40が妄想・分裂ポジションに陥る状況に遭遇した場合に、妄想・分裂ポジションに対応する感情が生まれ易くなる。また、ロボット40の表示部162には、妄想・分裂ポジションに対応する感情が占める範囲が拡大した感情マップが表示されるので、ロボット40の心情をより分かり易く提示することができる。このように、システム10によれば、ロボット40の感情を特定する処理において、状況に応じて特定種別の感情が生まれ易くなるという状態を適切に扱うことができる。
 なお、上記実施形態のシステム10においては、妄想・分裂条件が満たされた場合に、妄想・分裂ポジションに対応する感情が占める範囲を拡大するだけでなく、調整部220によって、妄想・分裂ポジションに対応する感情が生じ易くなるように制御される。しかし、妄想・分裂条件が満たされた場合でも、調整部220により妄想・分裂ポジションに対応する感情が生じ易くなるようにすることは行わなくてもよい。
 また、上記実施形態のシステム10においては、人工ニューロンNのそれぞれに感情が割り当てられている。しかし、人工ニューロンNには感情が割り当てられていなくてもよい。この場合においては、妄想・分裂条件が満たされた場合に、妄想・分裂ポジションに対応する感情が占める範囲を拡大することによって、妄想・分裂ポジションの感情により多くの人工ニューロンNが対応づけられることになる。これにより、妄想・分裂ポジションに対応する感情が生成され易くなるように制御することもできる。
 また、上記実施形態のシステム10においては、妄想・分裂条件が満たされた場合に、妄想・分裂ポジションに対応する感情が占める範囲を拡大する。しかし、妄想・分裂ポジションに対応する感情が占める範囲を拡大することに替えて、感情マップ300における同心円の中心の周りに、感情マップ300を回転させてもよい。
 以上に説明したサーバ60の機能は、1以上のコンピュータによって実装されてよい。サーバ60の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ60の機能の少なくとも一部は、クラウドで実装されてよい。また、ロボット40は、対象オブジェクトの一例である。対象オブジェクトとして、ロボット以外の様々な形態を採用し得る。例えば、対象オブジェクトは、自動車や自動二輪車等の車両や、家電製品等であってよい。
 以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
 請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 システム
40 ロボット
50 ユーザ
90 ネットワーク
102 通信部
120 センサ部
130 情報処理部
160 制御対象
162 表示部
120 センサ部
200 分泌情報生成部
210 入力情報生成部
220 調整部
230 NN演算部
240 判定部
250 制御部
252 判断部
260 感情特定部
270 処理部
280 格納部
290 記録媒体
300 感情マップ
900 オブジェクト
1000 オブジェクト

Claims (12)

  1.  対象オブジェクトの感情を決定するための情報を取得する情報取得部と、
     前記情報に基づいて、複数の感情にそれぞれ対応づけられる判定要素がそれぞれ満たされるか否かを判定する判定部と、
     前記情報が予め定められた種別の感情に関する予め定められた条件に適合する場合に、前記複数の感情がマッピングされる空間において前記予め定められた種別の感情が占める範囲を拡大する調整部と、
     前記複数の感情のうち、前記判定部により、前記対応づけられている前記判定要素が満たされたと判定された感情を特定する感情特定部と、
     前記感情特定部によって特定された感情及び前記空間において前記複数の感情がそれぞれ占める前記範囲を示す情報を出力させる出力制御部と
    を備える感情特定システム。
  2.  前記調整部はさらに、前記情報取得部が取得した前記情報に基づいて、前記空間において範囲を拡大させる感情に対応づけられた1以上の前記判定要素が満たされ易くなるように、前記1以上の判定要素の判定に作用する演算パラメータを調整する
    請求項1に記載の感情特定システム。
  3.  複数の前記判定要素は、前記情報取得部が取得した前記情報に基づく入力情報を入力とするニューラルネットワークに含まれる複数の人工ニューロンである
    請求項2に記載の感情特定システム。
  4.  前記複数の人工ニューロンには、前記複数の感情のうちのいずれかの感情が対応づけられており、
     前記感情特定部は、前記複数の感情のうち、前記複数の人工ニューロンのうち発火した人工ニューロンに対応づけられている感情を特定する
    請求項3に記載の感情特定システム。
  5.  前記演算パラメータは、前記ニューラルネットワークに含まれる人工シナプスの結合係数である
    請求項3又は4に記載の感情特定システム。
  6.  前記調整部は、前記空間における前記範囲を拡大させる感情に対応づけられた前記1以上の判定要素に接続される強結合性の人工シナプスの結合係数を増大させる
    請求項5に記載の感情特定システム。
  7.  前記情報取得部が取得した前記情報に基づいて、1以上の内分泌物質の分泌量を示す分泌情報を生成する分泌情報生成部
    をさらに備え、
     前記調整部は、前記分泌情報が示す前記内分泌物質の分泌量に基づいて前記結合係数を調整するとともに、前記空間において前記予め定められた種別の感情が占める範囲を拡大する場合に、前記予め定められた種別の感情に対応づけられた1以上の判定要素に接続される結合係数を更に調整する
    請求項5又は6に記載の感情特定システム。
  8.  前記予め定められた種別の感情は、妄想・分裂ポジションに対応する感情であり、
     前記予め定められた条件は、前記対象オブジェクトが前記妄想・分裂ポジションに対応する予め定められた状況にある旨を判断するための条件である
    請求項1から7のいずれか一項に記載の感情特定システム。
  9.  前記出力制御部は、前記空間において前記感情特定部によって特定された感情が前記空間において占める前記範囲を強調して表示させる
    請求項1から8のいずれか一項に記載の感情特定システム。
  10.  前記感情特定部によって特定された感情に応じて、前記対象オブジェクトを制御する制御部
    をさらに備える請求項1から9のいずれか一項に記載の感情特定システム。
  11.  請求項1から10のいずれか一項に記載の感情特定システムと、
     前記対象オブジェクトと
    を備えるシステム。
  12.  コンピュータを、請求項1から10のいずれか一項に記載の感情特定システムとして機能させるためのプログラム。
PCT/JP2017/014876 2016-04-28 2017-04-11 感情特定システム、システム及びプログラム WO2017187974A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17789261.9A EP3435292A4 (en) 2016-04-28 2017-04-11 FEATURE SPECIFICATION SYSTEM, SYSTEM AND PROGRAM
CN201780026294.7A CN109074510A (zh) 2016-04-28 2017-04-11 情感确定系统、系统以及程序
US16/170,045 US20190065930A1 (en) 2016-04-28 2018-10-25 Emotion identifying system, system and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016091998A JP6273313B2 (ja) 2016-04-28 2016-04-28 感情特定システム、システム及びプログラム
JP2016-091998 2016-04-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/170,045 Continuation US20190065930A1 (en) 2016-04-28 2018-10-25 Emotion identifying system, system and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2017187974A1 true WO2017187974A1 (ja) 2017-11-02

Family

ID=60160442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014876 WO2017187974A1 (ja) 2016-04-28 2017-04-11 感情特定システム、システム及びプログラム

Country Status (5)

Country Link
US (1) US20190065930A1 (ja)
EP (1) EP3435292A4 (ja)
JP (1) JP6273313B2 (ja)
CN (1) CN109074510A (ja)
WO (1) WO2017187974A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7363823B2 (ja) * 2019-01-22 2023-10-18 ソニーグループ株式会社 情報処理装置、および情報処理方法
CN111513732A (zh) * 2020-04-29 2020-08-11 山东大学 面向疫病状况下多类人群的心理压力智能评估预警系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074997A (ja) * 2012-10-03 2014-04-24 Korea Inst Of Industrial Technology 人工感情学習装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711467B2 (en) * 2000-10-05 2004-03-23 Sony Corporation Robot apparatus and its control method
KR100624403B1 (ko) * 2001-10-06 2006-09-15 삼성전자주식회사 인체의 신경계 기반 정서 합성 장치 및 방법
WO2008032787A1 (fr) * 2006-09-13 2008-03-20 Nippon Telegraph And Telephone Corporation ProcÉDÉ de dÉtection de sensations, dispositif de dÉtection de sensations, programme de dÉtection de sensations contenant le procÉDÉ, et support d'enregistrement contenant le programme

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074997A (ja) * 2012-10-03 2014-04-24 Korea Inst Of Industrial Technology 人工感情学習装置及び方法

Also Published As

Publication number Publication date
EP3435292A4 (en) 2019-04-24
JP2017199319A (ja) 2017-11-02
JP6273313B2 (ja) 2018-01-31
US20190065930A1 (en) 2019-02-28
EP3435292A1 (en) 2019-01-30
CN109074510A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
WO2017215297A1 (zh) 云端互动系统及其多感知型智能机器人和感知互动方法
US11000952B2 (en) More endearing robot, method of controlling the same, and non-transitory recording medium
US11948241B2 (en) Robot and method for operating same
JP6273314B2 (ja) 記憶制御システム、システム及びプログラム
EP3312776A1 (en) Emotion control system, system, and program
WO2017187974A1 (ja) 感情特定システム、システム及びプログラム
CN112684881B (zh) 化身面部表情生成系统及化身面部表情生成方法
US20210312167A1 (en) Server device, terminal device, and display method for controlling facial expressions of a virtual character
KR20160072621A (ko) 학습과 추론이 가능한 로봇 서비스 시스템
CN111002303A (zh) 识别装置、机器人、识别方法和存储介质
JP2002049385A (ja) 音声合成装置、疑似感情表現装置及び音声合成方法
JP6904287B2 (ja) 制御装置、制御方法、及び制御プログラム
JPH10143351A (ja) インタフェース装置
WO2018189792A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6199927B2 (ja) 制御システム、システム及びプログラム
JP6273311B2 (ja) 感情決定システム、システム及びプログラム
JP2018081583A (ja) 表示制御装置
JP7414735B2 (ja) 複数のロボットエフェクターを制御するための方法
KR102147835B1 (ko) 인터랙티브 로봇의 발화 및 제스처 속성 결정 장치 및 방법
JP2001209779A (ja) 仮想生物システム及び仮想生物システムにおけるパタン学習方法
CN116370954B (zh) 游戏方法和游戏装置
WO2018189793A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018189791A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019023835A (ja) 感情表現装置、方法およびプログラム
JP2023085752A (ja) 情報提供支援方法、情報提供支援装置、情報提供支援プログラム、及び、情報提供システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017789261

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017789261

Country of ref document: EP

Effective date: 20181023

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17789261

Country of ref document: EP

Kind code of ref document: A1