WO2016203964A1 - 制御システム、システム及びプログラム - Google Patents

制御システム、システム及びプログラム Download PDF

Info

Publication number
WO2016203964A1
WO2016203964A1 PCT/JP2016/066311 JP2016066311W WO2016203964A1 WO 2016203964 A1 WO2016203964 A1 WO 2016203964A1 JP 2016066311 W JP2016066311 W JP 2016066311W WO 2016203964 A1 WO2016203964 A1 WO 2016203964A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
recording
emotion
artificial
robot
Prior art date
Application number
PCT/JP2016/066311
Other languages
English (en)
French (fr)
Inventor
孫　正義
康介 朝長
Original Assignee
Ｃｏｃｏｒｏ Ｓｂ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｃｏｃｏｒｏ Ｓｂ株式会社 filed Critical Ｃｏｃｏｒｏ Ｓｂ株式会社
Priority to EP16811439.5A priority Critical patent/EP3312775B1/en
Priority to CN201680034833.7A priority patent/CN107710235A/zh
Publication of WO2016203964A1 publication Critical patent/WO2016203964A1/ja
Priority to US15/841,172 priority patent/US20180357528A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models

Definitions

  • the present invention relates to a control system, a system, and a program.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2011-253389
  • Patent Document 2 Japanese Patent Application Laid-Open No. 10-254592
  • Patent Document 3 Japanese Patent Application Publication No. 2013-535067
  • the second recording format has a larger amount of information than the information in the first recording format or the information in the first recording format.
  • a recording information generation unit that generates the information of the recording information
  • a recording control unit that records the information generated by the recording information generation unit, and the strength of the emotion in the control system based on at least part of the information detected by the sensor
  • the recording control unit causes the recording control unit to record in response to an increase in the strength of the emotion determined by the emotion determining unit.
  • a control system is provided that includes a switching control unit that switches a recording format of information from a first recording format to a second recording format.
  • the emotion determination unit may determine the strength of emotion using a neural network based on at least part of the information detected by the sensor.
  • the multiple artificial neurons that make up the neural network include emotional artificial neurons, which are artificial neurons in which the current emotion is defined.
  • the strength may be determined.
  • the plurality of artificial neurons that make up the neural network include endocrine artificial neurons that are defined as the state of endocrine substance generation, and the emotion decision unit is based on the internal state of the endocrine artificial neurons. You may determine the strength of your emotions.
  • the sensor includes an image sensor that continuously captures an image of the subject, the information in the first recording format includes shape data that represents the shape of the object imaged by the image sensor, and the information in the second recording format includes shape data. It may include moving image data based on the output of the image sensor with a larger amount of information.
  • the second recording information acquisition unit that acquires the information of the second recording format including the moving image data recorded by the recording control unit, and the moving image data included in the information of the second recording format acquired by the second recording information acquisition unit
  • a video generation unit that generates a video to be presented to the user.
  • the recording control unit may transmit the information generated by the recording information generation unit to an external server and cause the server to record the information.
  • a system including the above control system and a server is provided.
  • a program for causing a computer to function as the control system is provided.
  • FIG. 20 schematically shows the block configuration of the server 200 and the robot 40 .
  • a neural network 300 is schematically shown.
  • the parameters of the neural network are schematically shown in a table format.
  • movement flow of the server 200 when the robot 40 is started or reset is shown roughly. It is a figure which illustrates roughly the calculation of the coupling coefficient of an artificial synapse.
  • FIG. 6 schematically shows the time evolution of a coupling coefficient when a function h t ij is defined as an increase / decrease parameter of the coupling coefficient.
  • FIG. The time evolution of the coupling coefficient in the case of further simultaneous firing at time t2 is schematically shown.
  • the influence definition information which defines the chemical influence given to a parameter is shown roughly.
  • FIG. 6 shows a flowchart for calculating an internal state and a status. It is a figure which illustrates schematically the example of a calculation of an internal state when an artificial neuron does not fire. It is a figure which illustrates roughly the example of an output calculation in case an artificial neuron fires.
  • the time evolution of the coupling coefficient when a function is defined as an increase / decrease parameter of an artificial neuron is schematically shown.
  • An example of a rule 1400 stored in the recording format switching rule 290 is shown in a table format.
  • FIG. 1 schematically shows an example of a system 20 according to the present embodiment.
  • the system 20 includes a server 200, a robot 40a, and a robot 40b.
  • the robot 40a and the robot 40b communicate with the server 200 through the communication network 90 to exchange information.
  • the user 30a is a user of the robot 40a.
  • the user 30b is a user of the robot 40b.
  • the robot 40b has substantially the same function as the robot 40a. Therefore, the system 20 will be described by collectively referring to the robot 40a and the robot 40b as the robot 40.
  • the robot 40 performs various operations according to the situation, such as moving the head and limbs according to the situation, having a conversation with the user 30, and providing images to the user 30.
  • the robot 40 determines an operation in cooperation with the server 200.
  • the robot 40 transmits detection information such as the face image of the user 30 acquired by the camera function and the voice of the user 30 acquired by the microphone function to the server 200.
  • the server 200 analyzes the detection information received from the robot 40, determines the action to be taken by the robot 40, and transmits the action information representing the determined action to the robot 40.
  • the robot 40 operates according to the operation information received from the server 200.
  • Robot 40 has an emotion value representing its own emotion.
  • the robot 40 has emotion values indicating the strength of each emotion such as “happy”, “fun”, “sad”, “scary”, “excitement”, and the like.
  • the server 200 determines the emotion value of the robot 40.
  • the server 200 causes the robot 40 to perform an operation corresponding to the determined emotion. For example, when talking with the user 30 in a state where the emotion value of excitement is large, the robot 40 is uttered quickly.
  • the robot 40 can express its own emotions by actions or the like.
  • the server 200 updates the current state of the robot 40 using a neural network based on the detection information received from the robot 40.
  • the state of the robot 40 includes the emotion of the robot 40. Therefore, the server 200 determines the emotion of the robot 40 using a neural network.
  • the robot 40 causes the server 200 to record the video data of the user 30 acquired by the camera function.
  • the robot 40 acquires video data and the like from the server 200 as needed and provides the user 30 with the video data.
  • the robot 40 generates video data with a larger amount of information as the emotion is stronger, and causes the server 200 to record the video data.
  • the robot 40 switches to recording information in a low compression format such as an HD video when the emotion value of excitement exceeds a threshold value.
  • high-definition video data when the emotion of the robot 40 increases can be recorded as a record.
  • FIG. 2 schematically shows a block configuration of the server 200 and the robot 40.
  • the robot 40b includes a sensor unit 156, a processing unit 152, a control target 155, a communication unit 158, and a display unit 157.
  • the server 200 includes a processing unit 202, a storage unit 280, and a communication unit 208.
  • the processing unit 202 includes an initial value setting unit 210, an external input data generation unit 230, a parameter processing unit 240, an operation determination unit 250, a switching control unit 260, and a recording control unit 270.
  • the storage unit 280 stores the operation determination rule 282, definition information 284, parameter initial value 286, latest parameter 288, recording format switching rule 290, and recording data 292.
  • the sensor unit 156 includes a microphone 161, a 2D camera 163, a 3D depth sensor 162, a distance sensor 164, and the like. Each sensor included in the sensor unit 156 continuously detects information. Sensor information detected by the sensor unit 156 is output to the processing unit 152.
  • the 2D camera 163 is an example of an image sensor that continuously images an object, and generates image information by imaging with visible light.
  • the 3D depth sensor 162 detects the contour of an object by continuously irradiating an infrared pattern and analyzing the infrared pattern from infrared images continuously captured by an infrared camera.
  • the sensor unit 156 may include various sensors such as a clock, a gyro sensor, a touch sensor, a motor feedback sensor, and a battery remaining capacity detection sensor.
  • the processing unit 152 is formed by a processor such as a CPU.
  • the processing unit 152 causes the server 200 to transmit the sensor information continuously detected by each sensor included in the sensor unit 156 through the communication unit 158.
  • the processing unit 152 processes at least a part of sensor information continuously detected by each sensor included in the sensor unit 156, and generates information for recording.
  • the processing unit 152 generates information of the second recording format having a larger amount of information than the information of the first recording format or the information of the first recording format.
  • the first recording format information is, for example, high compression format information
  • the second recording format information is, for example, low compression format information.
  • the processing unit 152 For example, based on the skeleton information continuously detected by the 3D depth sensor 162, the processing unit 152 generates shape data such as skeleton data of the object as information in the first recording format.
  • the processing unit 152 generates full HD video data and audio data from the video information captured by the 2D camera 163 and the audio information detected by the microphone 161.
  • Full HD video data is an example of moving image data with more information than object shape data.
  • the communication unit 158 transmits the information in the first recording format or the information in the second recording format generated by the processing unit 152 to the server 200.
  • the recording control unit 270 stores the first recording format information or the second recording format information received by the communication unit 208 from the robot 40 in the recording data 292.
  • the recording control unit 270 stores information received from each robot 40 in the recording data 292 in association with information for identifying each robot 40.
  • the communication unit 158 obtains information stored in the recording data 292 from the server 200.
  • the communication unit 158 functions as a recording information receiving unit that acquires information in the second recording format including moving image data recorded by the recording control unit 270.
  • the processing unit 152 generates a video to be presented to the user 30 based on the moving image data included in the second recording format information received by the communication unit 158.
  • the processing unit 152 functions as a video generation unit that generates a video presented to the user 30.
  • the communication unit 158 receives operation information indicating the operation content from the server 200.
  • the processing unit 152 controls the control target 155 based on the operation content received by the communication unit 158.
  • the control target 155 includes a motor that drives each part of the robot 40 such as a speaker and a limb, a light emitting device, and the like.
  • the processing unit 152 causes the speaker to output sound according to the received content.
  • the processing unit 152 can control a part of the behavior of the robot 40 by controlling the driving motor of the limb. Further, the processing unit 152 can express a part of the emotion of the robot 40 by controlling these motors.
  • the communication unit 208 outputs the information received from the robot 40 to the processing unit 202.
  • the initial value setting unit 210 stores the initial value of the parameter indicating the initial state of the neural network received by the communication unit 208 in the parameter initial value 286 in the storage unit 280. Note that the initial values of the parameters of the neural network may be predetermined in the server 200 or may be changeable by the user 30 via the communication network 90.
  • the external input data generation unit 230 processes at least a part of the sensor information received by the communication unit 208, generates input information from the outside of the neural network, and outputs the input information to the parameter processing unit 240.
  • the parameter processing unit 240 calculates a neural network based on the input information and the current neural network parameters 288 and definition information 284 stored in the storage unit 280.
  • the artificial neuron included in the neural network has a plurality of artificial neurons in which the state of the robot 40 is defined, a plurality of emotional artificial neurons in which a plurality of emotions of the robot 40 itself are defined, and a state of generation of endocrine substances of the robot 40 itself.
  • the parameter processing unit 240 calculates parameters representing the internal states of a plurality of artificial neurons in the neural network based on the input information generated by the external input data generation unit 230. For example, the parameter processing unit 240 updates the parameters of the current internal state such as a plurality of artificial neurons in which the situation of the robot 40 is defined based on the input information generated by the external input data generation unit 230.
  • the parameter processing unit 240 calculates parameters of the internal state of other artificial neurons in the neural network.
  • the parameter of the internal state of the emotional artificial neuron in which the emotion of “happy” is defined is calculated.
  • the parameter of the internal state of the emotional artificial neuron is an example of an index that represents the strength of emotion of “happy”. Therefore, the parameter processing unit 240 can determine the strength of emotion in the control system based on the internal state of the emotion artificial neuron.
  • the parameter processing unit 240 functions as an emotion determination unit that determines the strength of emotion using a neural network based on at least a part of information detected by the sensor of the sensor unit 156.
  • the parameters of the neural network calculated by the parameter processing unit 240 are supplied to the switching control unit 260 and the operation determining unit 250.
  • the switching control unit 260 determines the recording format of the information generated by the processing unit 152 of the robot 40 based on the parameters supplied from the parameter processing unit 240.
  • the switching control unit 260 causes the robot 40 to transmit an instruction to switch the recording format through the communication unit 208.
  • the processing unit 152 switches the recording format according to the instruction received from the server 200.
  • the switching control unit 260 causes the processing unit 152 to generate information of the first recording format
  • the switching control unit 260 causes the processing unit 152 to respond to an increase in the emotion strength determined by the parameter processing unit 240.
  • An instruction to switch the recording format of the information to be generated from the first recording format to the second recording format is transmitted to the robot 40.
  • the switching control unit 260 changes the recording format of the information recorded by the recording control unit 270 from the first recording format to the first recording format in response to an increase in the emotion strength determined by the parameter processing unit 240. Switch to 2 recording format.
  • the processing unit 152 acquires the moving image data in the second recording format acquired from the server 200 and generates a video to be presented to the user 30. Therefore, the user 30 can enjoy information when the emotion of the robot 40 increases as a video.
  • the switching control unit 260 responds to the fact that the emotion strength determined by the parameter processing unit 240 has become low.
  • An instruction to switch the recording format of information to be generated from the second recording format to the first recording format is transmitted to the robot 40.
  • the switching control unit 260 changes the recording format of the information recorded by the recording control unit 270 from the second recording format in response to the emotion strength determined by the parameter processing unit 240 becoming lower. Switch to the first recording format.
  • an action to be performed by the robot 40 is determined in association with the state of the robot 40.
  • the action determination rule 282 defines an action to be performed by the robot 40 in association with the internal state of the artificial neuron of the neural network.
  • the action determination rule 282 defines an action of uttering a word expressing happiness in association with a condition that an emotional artificial neuron in which an emotion of “happy” is defined is high.
  • the action determination rule 282 defines an action when the person becomes sleepy in association with the condition that the internal state of the endocrine artificial neuron in which the endocrine substance corresponding to sleepiness is defined is high.
  • Endocrine substances mean substances that are secreted in the body and transmit signals, such as neurotransmitters and hormones. Endocrine means that endocrine substances are secreted in the body. However, the endocrine substance of the robot 40 is one piece of information that affects the operation of the robot 40, and does not mean that the robot 40 actually generates the endocrine substance. Similarly, the emotion of the robot 40 is one piece of information that affects the operation of the robot 40, and does not mean that the robot 40 actually has an emotion.
  • the operation determination unit 250 determines the operation of the robot 40 based on the operation determined in the operation determination rule 282 in association with the active state or internal state of each artificial neuron determined by the parameter processing unit 240.
  • the motion information indicating the motion determined by the motion determination unit 250 is transmitted from the communication unit 208 to the robot 40.
  • the processing unit 152 controls the control target 155 to perform the operation indicated by the information received from the server 200. Thereby, the robot 40 can perform an appropriate operation according to the current emotion of the robot 40.
  • FIG. 3 schematically shows the neural network 300.
  • the neural network 300 is an exemplary neural network for explaining the operation of the parameter processing unit 240.
  • the neural network 300 includes an artificial neuron 1, an artificial neuron 2, an artificial neuron 3, an artificial neuron 4, an artificial neuron 5, an artificial neuron 6, an artificial neuron 7, an artificial neuron 8, an artificial neuron 9, It includes a plurality of artificial neurons including an artificial neuron a, an artificial neuron b, and an artificial neuron c.
  • the neural network 300 includes an artificial synapse 301, an artificial synapse 302, an artificial synapse 303, an artificial synapse 304, an artificial synapse 305, an artificial synapse 306, an artificial synapse 307, an artificial synapse 308, an artificial synapse 309, An artificial synapse 310, an artificial synapse 311, an artificial synapse 312, an artificial synapse 313, an artificial synapse 314, an artificial synapse 315, an artificial synapse 316, an artificial synapse 317, an artificial synapse 318, and an artificial synapse 319 Includes multiple artificial synapses including. Artificial neurons correspond to neurons in the living body. An artificial synapse corresponds to a synapse in a living body.
  • the artificial synapse 301 connects the artificial neuron 4 and the artificial neuron 1.
  • the artificial synapse 301 is an artificial synapse that is connected in one direction as indicated by an arrow of the artificial synapse 301.
  • the artificial neuron 4 is an artificial neuron connected to the input of the artificial neuron 1.
  • the artificial synapse 302 connects the artificial neuron 1 and the artificial neuron 2.
  • the artificial synapse 302 is an artificial synapse that is connected in both directions as indicated by arrows at both ends of the artificial synapse 302.
  • the artificial neuron 1 is an artificial neuron connected to the input of the artificial neuron 2.
  • the artificial neuron 2 is an artificial neuron connected to the input of the artificial neuron 1.
  • an artificial neuron may be represented by N and an artificial synapse may be represented by S. Further, when identifying each artificial neuron, a superscript reference code is used as an identification character. In addition, when an arbitrary artificial neuron is represented, i or j may be used as an identification character. For example, N i represents an arbitrary artificial neuron.
  • an artificial synapse is identified using identification numbers i and j of two artificial neurons connected to the artificial synapse.
  • S 41 represents an artificial synapse that connects N 1 and N 4 .
  • S ij represents an artificial synapse that inputs the output of N i to N j .
  • S ji represents an artificial synapse in which the output of N j is input to N i .
  • a to J indicate that the state of the robot 40 is defined.
  • the state of the robot 40 includes the emotion of the robot 40, the endocrine substance generation state, the state of the robot 40, and the like.
  • N 4 , N 6 , and N 7 are conceptual artificial neurons in which concepts representing the situation of the robot 40 are defined.
  • N 4 is a conceptual artificial neuron that is assigned the status of “bell ringing”.
  • N 6 is a conceptual artificial neuron to which the situation “charging has started” is assigned.
  • N 7 is a conceptual artificial neuron to which the situation “the amount of stored electricity is equal to or less than a threshold” is assigned.
  • N 1 , N 3 , N b and N c are emotional artificial neurons in which emotions of the robot 40 are defined.
  • N 1 is an emotional artificial neuron to which the emotion of “happy” is assigned.
  • N 3 is an emotional artificial neuron to which the emotion “sad” is assigned.
  • Nb is an emotional artificial neuron to which the emotion of “scary” is assigned.
  • N c is an emotional artificial neuron to which the emotion “fun” is assigned.
  • N 2, N 5 and N a are the endocrine artificial neuron endocrine status of the robot 40 is defined.
  • N 5 is an endocrine artificial neuron that is assigned a developmental state of dopamine.
  • Dopamine is an example of an endocrine substance involved in the reward system. That, N 5 is an example of endocrine artificial neurons involved in reward system.
  • N 2 is an endocrine artificial neuron assigned the state of serotonin development. Serotonin is an example of an endocrine substance involved in the sleep system. That is, N 2 is an example of an endocrine artificial neuron involved in the sleep system.
  • N a is an endocrine artificial neuron that is assigned the state of noradrenaline development. Noradrenaline is an example of an endocrine substance involved in the sympathetic nervous system. That, N a is the endocrine artificial neurons involved in the sympathetic nervous system.
  • the definition information 284 in the storage unit 280 stores information that defines the state of the robot 40 as described above for each artificial neuron of the plurality of artificial neurons constituting the neural network.
  • the neural network 300 includes conceptual artificial neurons, emotional artificial neurons, and endocrine artificial neurons.
  • Conceptual artificial neurons, emotional artificial neurons, and endocrine artificial neurons are artificial neurons whose meanings such as concept, emotion, and endocrine are explicitly defined.
  • N 8 and N 9 are artificial neurons in which the state of the robot 40 is not defined.
  • N 8 and N 9 are artificial neurons whose meanings such as concept, emotion, and endocrine are not explicitly defined.
  • the parameters of the neural network 300 include I t i that is an input to each N i of the neural network, E t i that is an input to N i from the outside of the neural network, a parameter of N i , and S i Parameters.
  • N i is the S t i representing the status of the N i
  • V i m t representing the internal state of the artificial neuron represented by N i
  • T i t representing the threshold of the ignition of N i
  • N i and t f which represents the final firing time is finally ignited time
  • the V i m tf representing the internal state of the artificial neuron N i in the final ignition time
  • a t i is increased or decreased parameter output
  • b t i, h t i The output increase / decrease parameter is an example of a parameter that determines the temporal development of the output when the artificial neuron is fired.
  • V i m t is information corresponding to the membrane potential of the artificial neuron, and is an example of a parameter representing the internal state or output of the artificial neuron.
  • Parameters S ij is, t cf indicating the BS t ij representing a coupling coefficient of the artificial synapse S ij
  • the last simultaneous ignition time is the time at which N i and N j S ij is connected fires last time
  • BS ij tcf representing the coupling coefficient at the last simultaneous firing time
  • a t ij , b t ij , and h t ij that are parameters for increasing or decreasing the coupling coefficient.
  • the increase / decrease parameter of the coupling coefficient is an example of a parameter that determines the temporal development of the coupling coefficient after the two artificial neurons connected to the artificial synapse are fired at the same time last.
  • the parameter processing unit 240 updates the above-described parameters based on the input from the external input data generation unit 230 and the neural network, and determines the activation state of each artificial neuron.
  • the action determination unit 250 includes at least one internal state or active state of at least some of the artificial neurons defined by the parameter values of at least some of the artificial neurons in the neural network, and the definition information 284.
  • the operation of the robot 40 is determined based on the state defined in the artificial neuron of the unit.
  • the active state can be an activated state or a non-activated state. In the present embodiment, activation may be referred to as “ignition” and non-activation may be referred to as “unignition”.
  • the “ignition” state is divided into an “rising phase” and a “falling phase” depending on whether or not the internal state is rising. “Not fired”, “rising phase”, and “falling phase” are represented by status S t i .
  • FIG. 4 schematically shows the parameters of the neural network in a table format.
  • Each neuron N has a threshold value T t and increase / decrease parameters h t , a t and b t as parameters.
  • Each artificial synapse includes a coupling coefficient BS t, increase or decrease the parameter h t, and a t and b t as a parameter. 4 shows, for each N i, and the parameters of all artificial neurons connected directly to the N i artificial synapses, and the parameters of the artificial synapses are indicated by one line.
  • FIG. 5 schematically shows an operation flow of the server 200 when the robot 40 is activated or reset.
  • the parameter processing unit 240 performs initial setting of the parameters of the neural network. For example, the parameter processing unit 240 acquires initial parameter values from the storage unit 280, and generates parameter data of the neural network with a predetermined data structure (S502). Also, the parameter value of the neural network at time t 0 is set. When the initial setting is completed, a loop related to time t is started in S504.
  • the parameter processing unit 240 calculates a parameter corresponding to the change due to the electrical influence of the artificial synapse at the time step t n + 1 . Specifically, to calculate the BS t ij of any S ij.
  • the parameter processing unit 240 calculates a parameter corresponding to the change due to the chemical influence by the endocrine substance at the time step t n + 1 .
  • endocrine artificial neurons to calculate the change in the parameters affecting N i and S ij. More specifically, at time step t n + 1, and the increase and decrease parameters and threshold of the internal state of the endocrine artificial neuron affects artificial neuron N i, increase or decrease the parameter and coupling of the coupling coefficient of the endocrine artificial neuron affects S ij Calculate the coefficient.
  • the parameter processing unit 240 acquires an input from outside the neural network. Specifically, the parameter processing unit 240 acquires the output of the external input data generation unit 230.
  • the parameter processing unit 240 calculates the internal state of N i at time step t n + 1 . Specifically, V i m tn + 1 and status S tt i are calculated.
  • the value of each parameter at time t n + 1 is stored in the parameter 288 of the storage unit 280. In addition, the value of each parameter at time t n + 1 is output to the operation determination unit 250 and the switching control unit 260.
  • the switching control unit 260 determines whether switching condition is satisfied in the recording format of the data stored in the recording data 292. If the parameter N i at time step t n + 1 is switched satisfy the recording format, the switching control unit 260, the switching of the recording format instructed to the robot 40 (S570), the process proceeds to S506. On the other hand, if the N i parameter at time step t n + 1 does not satisfy the recording format switching condition in S560, the process proceeds to S506.
  • the parameter processing unit 240 determines whether or not to end the loop. For example, when the time indicated by the time step reaches a predetermined time, or when sensor information from the robot 40 is not received for a predetermined time, it is determined that the loop is to be ended. If the loop is not terminated, the process returns to S510, and the next time step is calculated. When the loop is finished, this flow is finished.
  • FIG. 6 is a diagram schematically illustrating calculation of a coupling coefficient of an artificial synapse.
  • constants a ij and b ij are defined as initial values of increase / decrease parameters will be described.
  • BS t ij increases at a t0 ij per unit time.
  • BS t ij decreases at
  • BS t ij increases at a t 4 ij per unit time.
  • FIG. 7 schematically shows the temporal evolution of the coupling coefficient when the function h t ij is defined as the coupling coefficient increase / decrease parameter.
  • h t ij is a function of at least ⁇ t, and takes a real value.
  • a function 700 illustrated in FIG. 7 is an example of h t ij .
  • Function 700 is a function of coupling coefficients BS tcf ij and ⁇ t at time t cf.
  • the function 700 monotonously increases when ⁇ t is in a range smaller than a predetermined value, and decreases monotonically and gradually decreases toward 0 when ⁇ t is larger than a predetermined value.
  • FIG. 7 shows a coupling coefficient in the case where a function 700 is defined as an increase / decrease parameter of the coupling coefficient, and N i and N j at both ends fire simultaneously at time t 0 .
  • the parameter processing unit 240 calculates BS t ij at each time from time t 1 to time t 6 based on the function 700 and ⁇ t. Within the time range from time t 1 to time t 6 , N i and N j do not fire simultaneously. Therefore, for example, time t 2 after the coupling coefficient decreases monotonically.
  • FIG. 8 schematically shows the temporal evolution of the coupling coefficient when N i and N j further fire simultaneously at time t 2 .
  • Coupling coefficient, from time t 0 to time t 2 is calculated in the same manner as FIG.
  • the parameter processing unit 240 calculates a coupling coefficient at each time from time t 3 to time t 6 according to h t ij (t ⁇ t 2 , BS t2 ij ). .
  • the coupling coefficient increases each time the simultaneous firing is repeated.
  • the effect of strengthening the artificial synapse connection is obtained like the Hebb's law in the living body.
  • FIG. 6 and FIG. 7 when the time during which no simultaneous firing occurs becomes long, an effect that the artificial synapse coupling is attenuated can be obtained.
  • FIG. 9 schematically shows influence definition information that defines a chemical influence given to a parameter.
  • This influence definition information is used for calculation of the parameter change in S520 of FIG.
  • the definition information includes conditions relating to the internal state of the endocrine artificial neuron, information for specifying the affecting artificial neuron or artificial synapse, and an expression for determining the influence content.
  • the endocrine artificial neuron N 2 is an endocrine artificial neuron to which a sleepy endocrine substance is assigned.
  • endocrine artificial neuron N 5 is an endocrine artificial neurons dopamine has been assigned.
  • the parameter processing unit 240 is greater than the T tn 5 Vm tn 5, and, if Vm tn 4 exceeds T tn 4, increasing the decrease parameter at time t n + 1 artificial synapse S 49 and S 95 10%
  • the second definition information regarding the endocrine artificial neuron N 5 includes the condition of “Vm tn 5 > T tn 5 ”, “N 1 ” as an artificial neuron affected by the endocrine artificial neuron N 5 , and an expression for determining the content of the influence.
  • a condition that the internal state of the artificial neuron is equal to or less than a threshold value may be defined as the condition.
  • conditions relating to the status of the artificial neuron for example, conditions relating to the rising phase, the falling phase, or unfired may be defined.
  • an influence range can be defined as “all artificial synapses connected to a specific artificial neuron”.
  • the expression of influence when the target is an artificial neuron, in addition to multiplying the threshold by a constant, add a constant to the threshold or define an expression to multiply the increase / decrease parameter of the internal state by a constant. Good.
  • an expression for multiplying the coupling coefficient by a constant may be defined.
  • the impact definition information is stored in the definition information 284 of the storage unit 280.
  • the storage unit 280 has an effect of at least one of the internal state and the firing state of the endocrine artificial neuron on the parameters of at least one of the other artificial neurons and the artificial synapse that are not directly connected to the endocrine artificial neuron with the artificial synapse.
  • the impact definition information that defines Then, the parameter processing unit 240, based on at least one of the internal state and the firing state of the endocrine artificial neuron and the effect definition information, other artificial neurons and artificial synapses that are not directly connected to the endocrine artificial neuron with the artificial synapse. Update at least one of the parameters.
  • the parameters of other artificial neurons that are affected by at least one of the internal state and the firing state of the endocrine artificial neuron are at least the parameters that determine the threshold value of other artificial neurons, the firing state, and the time evolution of the output at the time of firing.
  • the parameters of the artificial synapse that are influenced by at least one of the internal state and firing state of the endocrine artificial neuron are the coupling coefficient of the artificial synapse and the two artificial neurons that the artificial synapse is linked to at the same time. At least one of the parameters defining the time evolution of the subsequent coupling coefficient may be included.
  • the influence definition information includes information that defines the influence of the firing state of the endocrine artificial neuron associated with the reward system on the threshold value of the emotional artificial neuron, and the parameter processing unit 240 displays the information when the endocrine artificial neuron fires.
  • the threshold value of the emotional artificial neuron is updated according to the influence definition information.
  • FIG. 10 shows a flowchart for calculating V tn + 1 i and S tn + 1 i .
  • the process of this flowchart can be applied to a part of the process in S540 of FIG.
  • E tn i is an input at time t n from the outside of the neural network.
  • f (S) returns 0 when S is a value indicating unfired, and returns 1 when S is a value indicating an rising phase or a falling phase.
  • the parameter processing unit 240 determines whether I tn + 1 i exceeds T tn + 1 i . If I tn + 1 i exceeds T tn + 1 i, the parameter processing unit 240, to calculate on the basis of the increase or decrease the Vm tn + 1 i parameter, set to the values shown in rising phase or lowering phase S tn + 1 i according to Vm tn + 1 i (S1114), and this flow ends.
  • the parameter processing unit 240 calculates Vm tn + 1 i (S1120). Then, the parameter processing unit 240, if Vm t i until t n + 1 has reached Vmin, and set to a value of non-fire S tn + 1 i, if t n + 1 Vm t i so far not reached the Vmin is , S tn + 1 i is set to the value of the rising phase or the falling phase, and this flow is finished.
  • the parameter processing unit 240 t n + 1 When Vm t i has reached Vmax until set the value of the descending phase S tn + 1 i, if t n + 1 Vm t i so far not reached Vmax S The value of the rising phase is set to tn + 1 i .
  • N i firing, even if equal to or less than the output threshold, the output of the N i is independent of the input.
  • Such a period corresponds to the absolute refractory period in living neurons.
  • FIG. 11 is a diagram schematically illustrating a calculation example of V t i when N i does not ignite.
  • N i at time step at time t 0 is not yet ignited.
  • the parameter processing unit 240 maintains the value of V tn calculated at time step t n until the next time step, and changes it to I tn + 1 at V tn + 1 .
  • FIG. 12 is a diagram schematically illustrating a calculation example of V i t when Ni is ignited.
  • FIG. 12 is a calculation example when the constants a i and b i are defined.
  • N i is not fired.
  • I t1 i at time t 1 is equal to or lower than Vmax.
  • Parameter processing unit 240 determines the status S t i of N i of this period the rise phase.
  • V t i When V t i reaches Vmax, V t i is decreased by
  • the parameter processing unit 240 determines the status of the N i of this period the downward phase.
  • Vm t i When the status of N i is in the descending phase, Vm t i does not depend on I t i even if the calculated V mt i falls below T t i .
  • Parameter processing unit 240 even Vm t i is below T t i, until Vm t i reaches Vmin, calculates the Vm t i in accordance with increase and decrease parameters.
  • FIG. 13 schematically shows the temporal evolution of the coupling coefficient when the function h t i is defined as an increase / decrease parameter of N i .
  • h t i is a function of at least ⁇ t.
  • h t i takes a real value, and the range of h t i is not less than Vmin and not more than Vmax.
  • a function 1300 illustrated in FIG. 13 is an example of h t i .
  • Function 1300 is a function of Vm tf i and ⁇ t at time t f.
  • the function 1300 monotonously increases when ⁇ t is in a range smaller than a predetermined value, and monotonically decreases when ⁇ t is larger than a predetermined value.
  • Figure 13 is a function 1400 is defined as increasing or decreasing a parameter of the internal state, it shows the output when N i has fired at time t 1.
  • Parameter processing unit 240 a function 1400, based on the ⁇ t and Vm f i, compute the Vm t i of each time of the time t 1 ⁇ time t 5.
  • Vm t i because it has reached Vmin at time t 5, the at time t6
  • Vm t i I t6 i .
  • FIG. 14 shows an example of a rule 1400 stored in the recording format switching rule 290 in a table format.
  • Rules 1400, N 1, N 3, N b and any Vm t i of N c is, when the first condition that exceeds a threshold is met at least, a recording format of information "in the low compression format The operation of “switching” is defined.
  • the switching control unit 260 reduces the information recording format when the first condition is satisfied from the state where the first condition is not satisfied. Determine to switch to compression format.
  • the threshold a value obtained by multiplying the constant 0.9 to Vmax of each N j is illustrated.
  • the threshold may be higher than T i t .
  • the rule 1400, the total value of Vm t i of N 5 and N a are, if the second condition that exceeds a threshold is met at least, the recording format of the data of "switch to low compression format" Operation is defined. Thereby, when the information is recorded in the high compression format, the switching control unit 260 reduces the information recording format when the second condition is satisfied from the state where the second condition is not satisfied. Determine to switch to compression format.
  • the threshold a value obtained by multiplying the constant 0.9 to the total value of Vmax for each N j is illustrated. The threshold may be higher than the total value of the respective N j T i t .
  • N 1 , N 3 , N b and N c are emotional artificial neurons in which emotions of “happy”, “sad”, “scary” and “fun” are defined, respectively. Therefore, the parameter processing unit 240 determines the emotion strength based on the internal state of the emotion artificial neuron, and the recording format is reduced in accordance with the determined emotion strength exceeding a predetermined threshold. You can switch to a format.
  • N 5 and N a are endocrine artificial neurons in which endocrine substances of “dopamine” and “noradrenaline” are defined, respectively.
  • the total value of the parameters of the internal state of these endocrine artificial neurons is an example of an index representing the emotional intensity of “excitement”. Therefore, the parameter processing unit 240 determines the emotion strength based on the internal state of the endocrine artificial neuron, and the recording format is reduced in accordance with the determined emotion strength exceeding a predetermined threshold. You can switch to a format.
  • any Vm t i of N 1 , N 3 , N b and N c is equal to or less than the first threshold value, and the total value of Vm t i of N 5 and N a is the second threshold value
  • An operation of “switching the data recording format to the high compression format” when the third condition of the following is satisfied is defined. Therefore, when information is recorded in the low compression format, the switching control unit 260 compresses the information recording format when the third condition is satisfied from the state where the third condition is not satisfied. Determine to switch to format. In this way, the recording format can be switched to the high compression format in response to the emotional intensity falling below a predetermined threshold.
  • the first threshold value of the third condition is a value obtained by multiplying Vmax of each N j by a constant 0.8.
  • the second threshold value of the third condition is a value obtained by multiplying the constant 0.8 to the total value of Vmax for each N j.
  • the first threshold value may be the same as the first condition threshold value
  • the second threshold value may be the same as the second condition threshold value.
  • the first threshold value of the third condition may be higher than T i t of each N j .
  • the second threshold value of the third condition may be higher than the total value of T i t of each N j .
  • the threshold values of the conditions are not limited to these examples, and various values can be applied.
  • the robot 40 continuously transmits information in a high compression format such as skeleton data to the server 200 and records it in the server 200 during a period when the emotion of the robot 40 is not significantly high.
  • Information such as continuous skeleton data recorded in the server 200 can be used when analyzing the memory of the robot 40.
  • the robot 40 starts transmitting full HD video data and audio data, and in addition to the skeleton data, the full HD video data and audio data are transmitted for a period in which the emotion remains strong for a certain value or more.
  • the server 200 records information in a low compression format including data and audio data.
  • the robot 40 requests the server 200 to transmit full HD video data and audio data, for example, when the user 30 requests to provide a video of memories of the robot 40, and the robot 40 receives the video from the server 200. Video data and audio data are provided to the user 30.
  • high-quality video data of a scene in which the robot 40 has strong emotions can be stored in the server 200.
  • the server 200 can store the summarized information such as the skeleton data.
  • the robot 40 can keep the memory when the strong emotion is held clearly, and the memory when the strong emotion is not held can be left in a schematic manner like the human being.
  • “joyful”, “sad”, “scary”, “fun” and “excitement” are described as emotions, but the emotions handled by the system 20 are not limited to these.
  • “dopamine”, “serotonin”, and “noradrenaline” are described as endocrine substances, but the endocrine substances handled by the system 20 are not limited to these.
  • the function of the server 200 may be implemented by one or more computers. At least some of the functions of the server 200 may be implemented by a virtual machine. Further, at least a part of the functions of the server 200 may be implemented in the cloud. In addition, among the functions of the server 200, the functions of the components other than the storage unit 280 can be realized by the CPU operating based on a program. For example, at least a part of the processing described as the operation of the server 200 can be realized by controlling each hardware (for example, hard disk, memory, etc.) included in the computer by the processor according to the program.
  • the processing of the server 200 is performed in cooperation with each hardware including the processor, the hard disk, the memory, and the like by the processor operating according to the program and controlling each hardware.
  • the program can cause the computer to function as each component of the server 200.
  • the functions of the constituent elements of the robot 40 excluding the control target 155 and the sensor unit 156 can be realized by the CPU operating based on the program. That is, the program can cause the computer to function as each component of the robot 40.
  • the computer may read a program that controls execution of the above-described process, operate according to the read program, and execute the process.
  • the computer can read the program from a computer-readable recording medium storing the program.
  • the program may be supplied to a computer through a communication line, and the computer may read the program supplied through the communication line.
  • the server 200 different from the robot 40 is responsible for the neural network processing.
  • a server 200 different from the robot 40 stores information such as video data.
  • the robot 40 itself may be responsible for the functions of the server 200, such as neural network processing. Further, the robot 40 itself may store information such as video data.
  • the robot 40 is an example of a device to be controlled by the server 200. The device to be controlled is not limited to the robot 40, and various devices such as home appliances, vehicles, and toys can be applied as the control target.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Robotics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Neurology (AREA)
  • Manipulator (AREA)

Abstract

感情の強さの高まりに応じてデータを適切に記録することができない場合がある。センサによって連続的に検出された情報の少なくとも一部を処理して、第１記録形式の情報又は第１記録形式の情報より情報量が多い第２記録形式の情報を生成する記録情報生成部と、記録情報生成部が生成した情報を記録させる記録制御部と、センサによって検出された情報の少なくとも一部に基づいて、制御システムにおける感情の強さを決定する感情決定部と、記録情報生成部に第１記録形式の情報を生成させている場合に、感情決定部によって決定された感情の強さが高まったことに応じて、記録制御部が記録させる情報の記録形式を、第１記録形式から第２記録形式に切り換える切換制御部とを備える制御システムを提供する。

Description

制御システム、システム及びプログラム
　本発明は、制御システム、システム及びプログラムに関する。
　ユーザと通話相手との会話を学習してユーザの問いかけに対する通話相手の返答を返答テーブルに蓄積する端末が知られている（例えば、特許文献１参照）。また、ユーザ情報、機器情報及び自身の現在の感情状態を入力して次回の感情状態を出力するニューラルネットを備える感情生成装置が知られている（例えば、特許文献２参照）。また、方向性人工シナプス接続性を有するレイヤ・ニューラルネット関係を有する複数の電子ニューロンを含む連想メモリに時空パターンを記憶する技術が知られている（例えば、特許文献３参照）。
　［先行技術文献］
　［特許文献］
　［特許文献１］特開２０１１－２５３３８９号公報
　［特許文献２］特開平１０－２５４５９２号公報
　［特許文献３］特表２０１３－５３５０６７号公報
　感情の高まりに応じてデータを適切に記録できない場合があるという課題があった。
　本発明の第１の態様においては、センサによって連続的に検出された情報の少なくとも一部を処理して、第１記録形式の情報又は第１記録形式の情報より情報量が多い第２記録形式の情報を生成する記録情報生成部と、記録情報生成部が生成した情報を記録させる記録制御部と、センサによって検出された情報の少なくとも一部に基づいて、制御システムにおける感情の強さを決定する感情決定部と、記録情報生成部に第１記録形式の情報を生成させている場合に、感情決定部によって決定された感情の強さが高まったことに応じて、記録制御部が記録させる情報の記録形式を、第１記録形式から第２記録形式に切り換える切換制御部とを備える制御システムを提供する。
　感情決定部は、センサによって検出された情報の少なくとも一部に基づいて、ニューラルネットワークを用いて感情の強さを決定してよい。
　ニューラルネットワークを構成する複数の人工ニューロンには、現在の感情が定義された人工ニューロンである感情人工ニューロンが含まれ、感情決定部は、感情人工ニューロンの内部状態に基づいて、制御システムにおける感情の強さを決定してよい。
　ニューラルネットワークを構成する複数の人工ニューロンには、内分泌物質の発生状態が定義された人工ニューロンである内分泌人工ニューロンが含まれ、感情決定部は、内分泌人工ニューロンの内部状態に基づいて、制御システムにおける感情の強さを決定してよい。
　センサは、被写体を連続的に撮像するイメージセンサを含み、第１記録形式の情報は、イメージセンサで撮像された物体の形状を表現する形状データを含み、第２記録形式の情報は、形状データより情報量が多い、イメージセンサの出力に基づく動画データを含んでよい。
　記録制御部により記録された、動画データを含む第２記録形式の情報を取得する第２記録情報取得部と、第２記録情報取得部が取得した第２記録形式の情報に含まれる動画データに基づいて、ユーザに提示される映像を生成する映像生成部とを更に備えてよい。
　記録制御部は、記録情報生成部が生成した情報を、外部のサーバに送信してサーバに記録させてよい。
　本発明の第２の態様においては、上記の制御システムと、サーバとを備えるシステムが提供される。
　本発明の第３の態様においては、コンピュータを、上記の制御システムとして機能させるためのプログラムが提供される。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係るシステム２０の一例を概略的に示す。 サーバ２００及びロボット４０のブロック構成を概略的に示す。 ニューラルネットワーク３００を概略的に示す。 ニューラルネットワークのパラメータをテーブル形式で概略的に示す。 ロボット４０が起動又はリセットされた場合のサーバ２００の動作フローを概略的に示す。 人工シナプスの結合係数の計算を概略的に説明する図である。 結合係数の増減パラメータとして関数ｈｔ ｉｊが定義されている場合の結合係数の時間発展を概略的に示す。 時刻ｔ２で更に同時発火した場合の結合係数の時間発展を概略的に示す。 パラメータに与えられる化学的影響を定義する影響定義情報を概略的に示す。 内部状態及びステータスを計算するフローチャートを示す。 人工ニューロンが発火しない場合の内部状態の計算例を概略的に説明する図である。 人工ニューロンが発火する場合の出力の計算例を概略的に説明する図である。 人工ニューロンの増減パラメータとして関数が定義されている場合の結合係数の時間発展を概略的に示す。 記録形式切換ルール２９０に格納されるルール１４００の一例をテーブル形式で示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、本実施形態に係るシステム２０の一例を概略的に示す。システム２０は、サーバ２００と、ロボット４０ａ及びロボット４０ｂとを備える。ロボット４０ａ及びロボット４０ｂは、通信網９０を通じてサーバ２００と通信して情報をやりとりする。
　ユーザ３０ａは、ロボット４０ａのユーザである。ユーザ３０ｂは、ロボット４０ｂのユーザである。ロボット４０ｂは、ロボット４０ａと略同一の機能を有する。そのため、ロボット４０ａ及びロボット４０ｂをロボット４０と総称してシステム２０を説明する。
　ロボット４０は、状況に応じて頭部や肢部を動かしたり、ユーザ３０と会話を行ったり、ユーザ３０に映像を提供したりする等、状況に応じて各種の動作を行う。このとき、ロボット４０は、サーバ２００と連携して動作を決定する。例えば、ロボット４０は、カメラ機能で取得したユーザ３０の顔画像や、マイク機能で取得したユーザ３０の音声等の検出情報をサーバ２００に送信する。サーバ２００は、ロボット４０から受信した検出情報を解析して、ロボット４０が取るべき動作を決定して、決定した動作を表す動作情報を、ロボット４０に送信する。ロボット４０は、サーバ２００から受信した動作情報に従って動作する。
　ロボット４０は自身の感情を表す感情値を持つ。例えば、ロボット４０は、「嬉しい」、「楽しい」、「悲しい」、「怖い」、「興奮」等のそれぞれの感情の強さを表す感情値を持つ。ロボット４０の感情値は、サーバ２００が決定する。サーバ２００は、決定した感情に応じた動作をロボット４０に行わせる。例えば、興奮の感情値が大きい状態でユーザ３０と会話するときは、早口でロボット４０に発話させる。このように、ロボット４０は、自己の感情を行動等で表現することができる。
　サーバ２００は、ロボット４０から受信した検出情報に基づいて、ニューラルネットワークを用いて、ロボット４０の現在の状態を更新する。ロボット４０の状態には、ロボット４０の感情が含まれる。したがって、サーバ２００は、ニューラルネットワークを用いて、ロボット４０の感情を決定する。
　また、ロボット４０は、カメラ機能で取得したユーザ３０の映像データ等を、サーバ２００に記録させる。ロボット４０は、必要に応じてサーバ２００から映像データ等を取得して、ユーザ３０に提供する。ロボット４０は、感情の強さが強いほど、情報量がより多い映像データを生成してサーバ２００に記録させる。例えば、ロボット４０は、骨格データ等の高圧縮形式の情報を記録している場合に、興奮の感情値が閾値を超えたことに応じて、ＨＤ動画等の低圧縮形式の情報の記録に切り換える。システム２０によれば、ロボット４０の感情が高まったときの高精細な映像データを記録として残すことができる。
　図２は、サーバ２００及びロボット４０のブロック構成を概略的に示す。ロボット４０ｂは、センサ部１５６と、処理部１５２と、制御対象１５５と、通信部１５８と、表示部１５７とを有する。サーバ２００は、処理部２０２と、格納部２８０と、通信部２０８とを有する。処理部２０２は、初期値設定部２１０と、外部入力データ生成部２３０と、パラメータ処理部２４０と、動作決定部２５０と、切換制御部２６０と、記録制御部２７０とを含む。格納部２８０は、動作決定ルール２８２、定義情報２８４、パラメータ初期値２８６、最新のパラメータ２８８、及び記録形式切換ルール２９０、及び記録データ２９２を格納する。
　ロボット４０において、センサ部１５６は、マイク１６１、２Ｄカメラ１６３、３Ｄ深度センサ１６２、距離センサ１６４等のセンサを有する。センサ部１５６が有する各センサは、情報を連続的に検出する。センサ部１５６で検出されたセンサ情報は、処理部１５２に出力される。２Ｄカメラ１６３は、物体を連続的に撮像するイメージセンサの一例であり、可視光によって撮像して映像情報を生成する。３Ｄ深度センサ１６２は、赤外線パターンを連続的に照射して、赤外線カメラで連続的に撮影された赤外線画像から赤外線パターンを解析することによって、物体の輪郭を検出する。なお、センサ部１５６は、この他にも、時計、ジャイロセンサ、タッチセンサ、モータフィードバック用のセンサ、バッテリ残容量の検出センサ等、様々なセンサを含んでよい。
　処理部１５２は、ＣＰＵ等のプロセッサで形成される。処理部１５２は、センサ部１５６が有する各センサで連続的に検出されたセンサ情報を、通信部１５８を通じてサーバ２００に送信させる。また、処理部１５２は、センサ部１５６が有する各センサで連続的に検出されたセンサ情報の少なくとも一部を処理して、記録用の情報を生成する。処理部１５２は、第１記録形式の情報又は第１記録形式の情報より情報量が多い第２記録形式の情報を生成する。第１記録形式の情報とは、例えば高圧縮形式の情報であり、第２記録形式の情報とは、例えば低圧縮形式の情報である。例えば、処理部１５２は、３Ｄ深度センサ１６２で連続的に検出された骨格情報に基づいて、物体の骨格データ等の形状データを、第１記録形式の情報として生成する。また、処理部１５２は、２Ｄカメラ１６３で撮像された映像情報及びマイク１６１で検出された音声情報から、フルＨＤの映像データ及び音声データを生成する。フルＨＤの映像データは、物体の形状データより情報が多い動画データの一例である。
　通信部１５８は、処理部１５２が生成した第１記録形式の情報又は第２記録形式の情報を、サーバ２００に送信する。サーバ２００において、記録制御部２７０は、通信部２０８がロボット４０から受信した第１記録形式の情報又は第２記録形式の情報を、記録データ２９２に格納する。記録制御部２７０は、ロボット４０のそれぞれを識別する情報に対応づけて、各ロボット４０から受信した情報を記録データ２９２に格納する。
　また、ロボット４０において、通信部１５８は、記録データ２９２に格納された情報を、サーバ２００から取得する。通信部１５８は、記録制御部２７０により記録された、動画データを含む第２記録形式の情報を取得する記録情報受信部として機能する。処理部１５２は、通信部１５８が受信した第２記録形式の情報に含まれる動画データに基づいて、ユーザ３０に提示される映像を生成する。処理部１５２は、ユーザ３０に提示される映像を生成する映像生成部として機能する。
　また、通信部１５８は、サーバ２００から動作内容を示す動作情報を受信する。処理部１５２は、通信部１５８が受信した動作内容に基づいて、制御対象１５５を制御する。制御対象１５５は、スピーカ、肢部等のロボット４０の各部を駆動するモータ、発光装置等を含む。発声内容を示す情報をサーバ２００から受信した場合、処理部１５２は、受信した発生内容に従って、スピーカから音声を出力させる。また、処理部１５２は、肢部の駆動モータを制御することにより、ロボット４０の行動の一部を制御できる。また、処理部１５２は、これらのモータを制御することにより、ロボット４０の感情の一部を表現できる。
　サーバ２００において、通信部２０８は、ロボット４０から受信した情報を処理部２０２に出力する。初期値設定部２１０は、通信部２０８で受信したニューラルネットワークの初期状態を示すパラメータの初期値を、格納部２８０内のパラメータ初期値２８６に格納する。なお、ニューラルネットワークのパラメータの初期値は、サーバ２００において予め定められていてよいし、通信網９０を介してユーザ３０が変更可能であってよい。
　外部入力データ生成部２３０は、通信部２０８が受信したセンサ情報の少なくとも一部を処理して、ニューラルネットワークの外部からの入力情報を生成して、パラメータ処理部２４０に出力する。パラメータ処理部２４０は、当該入力情報と、格納部２８０に格納されている、ニューラルネットワークの現在のパラメータ２８８及び定義情報２８４とに基づいて、ニューラルネットワークの計算を行う。
　ニューラルネットワークが有する人工ニューロンは、ロボット４０の状況が定義された複数の人工ニューロンと、ロボット４０自身の複数の感情が定義された複数の感情人工ニューロンと、ロボット４０自身の内分泌物質の生成状態が定義された複数の内分泌人工ニューロンとを含む。パラメータ処理部２４０は、外部入力データ生成部２３０が生成した入力情報に基づいて、ニューラルネットワークにおける複数の人工ニューロンの内部状態を表すパラメータを計算する。例えば、パラメータ処理部２４０は、外部入力データ生成部２３０が生成した入力情報に基づいて、ロボット４０の状況が定義された複数の人工ニューロン等の現在の内部状態のパラメータを更新する。また、パラメータ処理部２４０は、ニューラルネットワークにおける他の人工ニューロンの内部状態のパラメータを計算する。これにより、例えば「嬉しい」という感情が定義された感情人工ニューロンの内部状態のパラメータが計算される。この感情人工ニューロンの内部状態のパラメータは、「嬉しい」という感情の強さを表す指標の一例である。したがって、パラメータ処理部２４０は、感情人工ニューロンの内部状態に基づいて、制御システムにおける感情の強さを決定することができる。このように、パラメータ処理部２４０は、センサ部１５６が有するセンサによって検出された情報の少なくとも一部に基づいて、ニューラルネットワークを用いて感情の強さを決定する感情決定部として機能する。
　パラメータ処理部２４０によって計算されたニューラルネットワークのパラメータは、切換制御部２６０及び動作決定部２５０に供給される。切換制御部２６０は、パラメータ処理部２４０から供給されたパラメータに基づいて、ロボット４０の処理部１５２が生成する情報の記録形式を決定する。切換制御部２６０は、処理部１５２が生成する情報の記録形式を切り換える必要がある場合に、記録形式を切り換える旨の指示を、通信部２０８を通じてロボット４０に送信させる。ロボット４０において、処理部１５２は、サーバ２００から受信した指示に従って、記録形式を切り換える。
　例えば、切換制御部２６０は、処理部１５２に第１記録形式の情報を生成させている場合に、パラメータ処理部２４０によって決定された感情の強さが高まったことに応じて、処理部１５２に生成させる情報の記録形式を第１記録形式から第２記録形式に切り換える旨の指示を、ロボット４０に送信する。このように、切換制御部２６０は、パラメータ処理部２４０によって決定された感情の強さが高まったことに応じて、記録制御部２７０によって記録される情報の記録形式を、第１記録形式から第２記録形式に切り換える。これにより、ロボット４０の感情が高まったときの情報を、詳細に記録として残すことができる。また、ロボット４０において、処理部１５２は、サーバ２００から取得した第２記録形式の動画データを取得して、ユーザ３０に提示される映像を生成する。したがって、ユーザ３０は、ロボット４０の感情が高まったときの情報を映像として楽しむことができる。
　なお、切換制御部２６０は、処理部１５２に第２記録形式の情報を生成させている場合に、パラメータ処理部２４０によって決定された感情の強さが低くなったことに応じて、処理部１５２に生成させる情報の記録形式を第２記録形式から第１記録形式に切り換える旨の指示を、ロボット４０に送信する。このように、切換制御部２６０は、パラメータ処理部２４０によって決定された感情の強さが低くなったことに応じて、記録制御部２７０によって記録される情報の記録形式を、第２記録形式から第１記録形式に切り換える。
　動作決定ルール２８２には、ロボット４０の状態に対応づけて、ロボット４０が行う動作を定める。例えば、動作決定ルール２８２には、ニューラルネットワークの人工ニューロンの内部状態に対応づけて、ロボット４０が行う動作を定める。例えば、動作決定ルール２８２は、「嬉しい」という感情が定義された感情人工ニューロンが高いという条件に対応づけて、嬉しさを表す言葉を発声させるという動作を定める。また、動作決定ルール２８２は、眠気に対応する内分泌物質が定義された内分泌人工ニューロンの内部状態が高いという条件に対応づけて、眠くなった場合の動作を定める。
　なお、内分泌物質とは、神経伝達物質及びホルモン等、体内で分泌されシグナルを伝達する物質を意味する。また、内分泌とは、内分泌物質が体内で分泌されることを意味する。ただし、ロボット４０自身の内分泌物質とは、ロボット４０の動作に影響を及ぼす情報の１つであり、ロボット４０が内分泌物質を実際に発生するということを意味していない。ロボット４０自身の感情についても同様に、ロボット４０の動作に影響を及ぼす情報の１つであり、ロボット４０が実際に感情を有しているということを意味していない。
　動作決定部２５０は、パラメータ処理部２４０が決定した各人工ニューロンの活性状態又は内部状態に対応づけて動作決定ルール２８２に定められている動作に基づいて、ロボット４０の動作を決定する。動作決定部２５０が決定した動作を示す動作情報は、通信部２０８からロボット４０に送信される。ロボット４０において、処理部１５２は、制御対象１５５を制御することによって、サーバ２００から受信した情報が示す動作を行わせる。これにより、ロボット４０は、現在のロボット４０の感情に応じた適切な動作を行うことができる。
　図３は、ニューラルネットワーク３００を概略的に示す。ニューラルネットワーク３００は、パラメータ処理部２４０の動作を説明するための例示のニューラルネットワークである。ニューラルネットワーク３００は、人工ニューロン１と、人工ニューロン２と、人工ニューロン３と、人工ニューロン４と、人工ニューロン５と、人工ニューロン６と、人工ニューロン７と、人工ニューロン８と、人工ニューロン９と、人工ニューロンａと、人工ニューロンｂと、人工ニューロンｃとを含む複数の人工ニューロンを含む。ニューラルネットワーク３００は、人工シナプス３０１と、人工シナプス３０２と、人工シナプス３０３と、人工シナプス３０４と、人工シナプス３０５と、人工シナプス３０６と、人工シナプス３０７と、人工シナプス３０８と、人工シナプス３０９と、人工シナプス３１０と、人工シナプス３１１と、人工シナプス３１２と、人工シナプス３１３と、人工シナプス３１４と、人工シナプス３１５と、人工シナプス３１６と、人工シナプス３１７と、人工シナプス３１８と、人工シナプス３１９とを含む複数の人工シナプスを含む。人工ニューロンは、生体におけるニューロンに対応する。人工シナプスは、生体におけるシナプスに対応する。
　人工シナプス３０１は、人工ニューロン４と人工ニューロン１とを接続する。人工シナプス３０１は、人工シナプス３０１の矢印で示されるように、一方向に接続する人工シナプスである。人工ニューロン４は、人工ニューロン１の入力に接続される人工ニューロンである。人工シナプス３０２は、人工ニューロン１と人工ニューロン２とを接続する。人工シナプス３０２は、人工シナプス３０２の両端の矢印で示されるように、双方向に接続する人工シナプスである。人工ニューロン１は、人工ニューロン２の入力に接続される人工ニューロンである。人工ニューロン２は、人工ニューロン１の入力に接続される人工ニューロンである。
　なお、本実施形態において、人工ニューロンをＮで表し、人工シナプスをＳで表す場合がある。また、各人工ニューロンを識別する場合、上付きの参照符号を識別文字として用いる。また、任意の人工ニューロンを表す場合に、識別文字としてｉ又はｊを用いる場合がある。例えば、Ｎｉは任意の人工ニューロンを表す。
　また、人工シナプスを、人工シナプスに接続されている２つの人工ニューロンのそれぞれの識別数字ｉ及びｊを用いて識別する場合がある。例えば、Ｓ４１は、Ｎ１とＮ４とを接続する人工シナプスを表す。一般には、Ｓｉｊは、Ｎｉの出力をＮｊに入力する人工シナプスを表す。なお、Ｓｊｉは、Ｎｊの出力をＮｉに入力する人工シナプスを表す。
　図３において、Ａ～Ｊは、ロボット４０の状態が定義されていることを表す。ロボット４０の状態とは、ロボット４０の感情、内分泌物質の生成状態、ロボット４０の状況等を含む。一例として、Ｎ４、Ｎ６、及びＮ７は、ロボット４０の状況を表す概念が定義された概念人工ニューロンである。例えば、Ｎ４は、「ベルが鳴った」という状況が割り当てられた概念人工ニューロンである。Ｎ６は、「充電が開始された」という状況が割り当てられた概念人工ニューロンである。Ｎ７は、「蓄電量が閾値以下」との状況が割り当てられた概念人工ニューロンである。
　Ｎ１、Ｎ３、Ｎｂ及びＮｃは、ロボット４０の感情が定義された感情人工ニューロンである。Ｎ１は、「嬉しい」という感情が割り当てられた感情人工ニューロンである。Ｎ３は、「悲しい」という感情が割り当てられた感情人工ニューロンである。Ｎｂは、「怖い」という感情が割り当てられた感情人工ニューロンである。Ｎｃは、「楽しい」という感情が割り当てられた感情人工ニューロンである。
　Ｎ２、Ｎ５及びＮａは、ロボット４０の内分泌状態が定義された内分泌人工ニューロンである。Ｎ５は、ドーパミンの発生状態が割り当てられた内分泌人工ニューロンである。ドーパミンは、報酬系に関与する内分泌物質の一例である。すなわち、Ｎ５は、報酬系に関与する内分泌人工ニューロンの一例である。Ｎ２は、セロトニンの発生状態が割り当てられた内分泌人工ニューロンである。セロトニンは、睡眠系に関与する内分泌物質の一例である。すなわち、Ｎ２は、睡眠系に関与する内分泌人工ニューロンの一例である。Ｎａは、ノルアドレナリンの発生状態が割り当てられた内分泌人工ニューロンである。ノルアドレナリンは、交感神経系に関与する内分泌物質の一例である。すなわち、Ｎａは、交感神経系に関与する内分泌人工ニューロンである。
　格納部２８０内の定義情報２８４には、ニューラルネットワークを構成する複数の人工ニューロンの各人工ニューロンに対して、上述したようなロボット４０の状態を定義する情報が格納される。このように、ニューラルネットワーク３００は、概念人工ニューロン、感情人工ニューロン、内分泌人工ニューロンを含む。概念人工ニューロン、感情人工ニューロン、内分泌人工ニューロンは、概念、感情及び内分泌等の意味が明示的に定義された人工ニューロンである。これに対し、Ｎ８やＮ９は、ロボット４０の状態が定義されていない人工ニューロンである。また、Ｎ８やＮ９は、概念、感情及び内分泌等の意味が明示的に定義されていない人工ニューロンである。
　ニューラルネットワーク３００のパラメータとしては、ニューラルネットワークの各Ｎｉへの入力であるＩｔ ｉと、ニューラルネットワークの外部からＮｉへの入力であるＥｔ ｉと、Ｎｉのパラメータと、Ｓｉのパラメータとを含む。
　Ｎｉのパラメータは、Ｎｉのステータスを表すＳｔ ｉと、Ｎｉが表す人工ニューロンの内部状態を表すＶｉｍｔと、Ｎｉの発火の閾値を表すＴｉ ｔと、Ｎｉが最後に発火した時刻である最終発火時刻を表すｔｆと、最終発火時刻における人工ニューロンＮｉの内部状態を表すＶｉｍｔｆと、出力の増減パラメータであるａｔ ｉ、ｂｔ ｉ、ｈｔ ｉとを含む。出力の増減パラメータは、人工ニューロンの発火時の出力の時間発展を定めるパラメータの一例である。なお、本実施形態において、下付きの添え字のｔは、時刻の進展とともに更新され得るパラメータであることを表す。また、Ｖｉｍｔは、人工ニューロンの膜電位に対応する情報であり、人工ニューロンの内部状態又は出力を表すパラメータの一例である。
　Ｓｉｊのパラメータは、Ｓｉｊの人工シナプスの結合係数を表すＢＳｔ ｉｊと、Ｓｉｊが接続しているＮｉ及びＮｊが最後に同時に発火した時刻である最終同時発火時刻を表すｔｃｆと、最終同時発火時刻における結合係数を表すＢＳｉｊ ｔｃｆと、結合係数の増減パラメータであるａｔ ｉｊ、ｂｔ ｉｊ、ｈｔ ｉｊとを含む。結合係数の増減パラメータは、人工シナプスが結びつけている２つの人工ニューロンが最後に同時に発火した後の結合係数の時間発展を定めるパラメータの一例である。
　パラメータ処理部２４０は、外部入力データ生成部２３０からの入力と、ニューラルネットワークに基づいて上述したパラメータを更新して、各人工ニューロンの活性化の状態を決定する。動作決定部２５０は、ニューラルネットワーク内の複数の人工ニューロンのうちの少なくとも一部の人工ニューロンのパラメータの値によって定められる少なくとも一部の人工ニューロンの内部状態又は活性状態と、定義情報２８４によって少なくとも一部の人工ニューロンに定義されている状態とに基づいて、ロボット４０の動作を決定する。なお、活性状態とは、活性化した状態又は活性化していない状態をとり得る。本実施形態において、活性化することを「発火」と呼び、活性化していないことを「未発火」と呼ぶ場合がある。なお、後述するように、「発火」の状態を、内部状態が上昇中であるか否かに応じて「上昇相」と「下降相」とに分ける。「未発火」と、「上昇相」及び「下降相」とは、ステータスＳｔ ｉによって表される。
　図４は、ニューラルネットワークのパラメータをテーブル形式で概略的に示す。各ニューロンＮは、閾値Ｔｔと、増減パラメータｈｔ、ａｔ及びｂｔとをパラメータとして持つ。また、各人工シナプスは、結合係数ＢＳｔと、増減パラメータｈｔ、ａｔ及びｂｔとをパラメータとして含む。図４には、Ｎｉ毎に、人工シナプスでＮｉに直接接続される全ての人工ニューロンの各パラメータと、当該人工シナプスの各パラメータとが、一行で示されている。
　図５は、ロボット４０が起動又はリセットされた場合のサーバ２００の動作フローを概略的に示す。サーバ２００は、ロボット４０が起動又はリセットされたことが受信すると、パラメータ処理部２４０は、ニューラルネットワークのパラメータの初期設定を行う。例えば、パラメータ処理部２４０は、格納部２８０からパラメータの初期値を取得して、ニューラルネットワークのパラメータデータを所定のデータ構造で生成する（Ｓ５０２）。また、時刻ｔ０におけるニューラルネットワークのパラメータの値を設定する。初期設定が完了すると、Ｓ５０４において、時刻ｔに関するループを開始する。
　Ｓ５１０において、パラメータ処理部２４０は、時間ステップｔｎ＋１における、人工シナプスの電気的影響による変化に対応するパラメータを計算する。具体的には、任意のＳｉｊのＢＳｔ ｉｊを計算する。
　Ｓ５２０において、パラメータ処理部２４０は、時間ステップｔｎ＋１における、内分泌物質による化学的影響による変化に対応するパラメータを計算する。具体的には、内分泌人工ニューロンが影響を及ぼすＮｉ及びＳｉｊのパラメータの変化を計算する。より具体的には、時間ステップｔｎ＋１における、内分泌人工ニューロンが影響を及ぼす人工ニューロンＮｉの内部状態の増減パラメータや閾値と、内分泌人工ニューロンが影響を及ぼすＳｉｊの結合係数の増減パラメータや結合係数を計算する。
　Ｓ５３０において、パラメータ処理部２４０は、ニューラルネットワークの外部からの入力を取得する。具体的には、パラメータ処理部２４０は、外部入力データ生成部２３０の出力を取得する。
　Ｓ５４０において、パラメータ処理部２４０は、時間ステップｔｎ＋１における、Ｎｉの内部状態を計算する。具体的には、Ｖｉｍｔｎ＋１及びステータスＳｔｔ ｉを計算する。そして、Ｓ５５０において、時刻ｔｎ＋１における各パラメータの値を、格納部２８０のパラメータ２８８に格納する。また、時刻ｔｎ＋１における各パラメータの値を、動作決定部２５０及び切換制御部２６０に出力する。
　Ｓ５６０において、切換制御部２６０は、時間ステップｔｎ＋１におけるＮｉのパラメータが、記録データ２９２に格納するデータの記録形式の切換条件を満たすか否かを判断する。時間ステップｔｎ＋１におけるＮｉのパラメータが記録形式の切換条件を満たす場合、切換制御部２６０は、記録形式の切り換えをロボット４０に指示して（Ｓ５７０）、Ｓ５０６に進む。一方、Ｓ５６０において、時間ステップｔｎ＋１におけるＮｉのパラメータが記録形式の切換条件を満たさない場合は、Ｓ５０６に進む。
　Ｓ５０６において、パラメータ処理部２４０は、ループを終了するか否かを判断する。例えば、時間ステップが表す時刻が所定の時刻に達した場合や、ロボット４０からのセンサ情報が予め定められた時間にわたって受信されなかった場合に、ループを終了すると判断する。ループを終了しない場合、Ｓ５１０に戻り、更に次の時間ステップの計算を行う。ループを終了する場合、このフローを終了する。
　図６は、人工シナプスの結合係数の計算を概略的に説明する図である。ここでは、増減パラメータの初期値として定数ａｉｊ及びｂｉｊが定義されている場合を説明する。
　時刻ｔｎの時間ステップにおいて、Ｓｉｊの両端のＮｉ及びＮｊがいずれも発火している場合、パラメータ処理部２４０は、時刻ｔｎ＋１におけるＢＳｔｎ＋１ ｉｊを、ＢＳｔｎ＋１ ｉｊ＝ＢＳｔｎ ｉｊ＋ａｔｎ ｉｊ×（ｔｎ＋１－ｔｎ）により計算する。一方、時刻ｔｎの時間ステップにおいてＳｉ及びＳｊがいずれも発火していない場合、時刻ｔｎ＋１における結合係数ＢＳｔｎ＋１ ｉｊを、ＢＳｔｎ＋１ ｉｊ＝ＢＳｔｎ ｉｊ＋ｂｔｎ ｉｊ×（ｔｎ＋１－ｔｎ）により計算する。また、ＢＳｔｎ＋１ ｉｊが負の値になる場合は、ＢＳｔｎ＋１ ｉｊは０とする。なお、ＢＳｉｊが正の値のＳｉｊでは、ａｔ ｉｊが正の値であり、ｂｔ ｉｊは負の値である。ＢＳｉｊが負の値のＳｉｊでは、ａｔ ｉｊは正の値であり、ｂｔ ｉｊは負の値である。
　図６に示されるように、時刻ｔ０で両端の人工ニューロンが同時発火しているので、ＢＳｔ ｉｊは単位時間当たりａｔ０ ｉｊで増加する。また、時刻ｔ１で同時発火していないので、ＢＳｔ ｉｊは、単位時間当たり｜ｂｔ１ ｉｊ｜で減少する。また、時刻ｔ４で同時発火したことにより、ＢＳｔ ｉｊは単位時間当たりａｔ４ ｉｊで増加する。
　図７は、結合係数の増減パラメータとして関数ｈｔ ｉｊが定義されている場合の結合係数の時間発展を概略的に示す。ｈｔ ｉｊは、ｔｃｆからの経過時間Δｔ（＝ｔ－ｔｃｆ）≧０において定義される。ｈｔ ｉｊは、少なくともΔｔの関数であり、実数の値をとる。
　図７に示す関数７００は、ｈｔ ｉｊの一例である。関数７００は、時刻ｔｃｆにおける結合係数ＢＳｔｃｆ ｉｊ及びΔｔの関数である。関数７００は、Δｔが所定の値より小さい範囲で場合に単調増加し、Δｔが所定の値より大きい場合に単調減少して０に向けて漸減する。関数７００は、Δｔ＝０において値ＢＳｔｃｆ ｉｊをとる。
　図７は、結合係数の増減パラメータとして関数７００が定義されており、時刻ｔ０において両端のＮｉ及びＮｊが同時発火した場合の結合係数を示す。パラメータ処理部２４０は、関数７００とΔｔとに基づいて、時刻ｔ１～時刻ｔ６の各時刻のＢＳｔ ｉｊを算出する。時刻ｔ１～時刻ｔ６の時間範囲内では、Ｎｉ及びＮｊは同時発火していない。そのため、例えば、時刻ｔ２以降、結合係数は単調に減少する。
　図８は、時刻ｔ２でＮｉ及びＮｊが更に同時発火した場合の結合係数の時間発展を概略的に示す。結合係数は、時刻ｔ０から時刻ｔ２までは、図７と同様に計算される。時刻ｔ２においてＮｉ及びＮｊが更に同時発火すると、パラメータ処理部２４０は、ｈｔ ｉｊ（ｔ－ｔ２，ＢＳｔ２ ｉｊ）に従って時刻ｔ３～ｔ６の各時刻の結合係数を計算する。このように、同時発火が繰り返される毎に、結合係数が高まる。これにより、生体におけるＨｅｂｂの法則のように、人工シナプス結合を強化するような効果が得られる。一方、図６及び図７に示すように、同時発火しない時間が長くなると、人工シナプス結合が減衰するような効果が得られる。
　図９は、パラメータに与えられる化学的影響を定義する影響定義情報を概略的に示す。この影響定義情報は、図５のＳ５２０のパラメータの変化の計算に用いられる。定義情報は、内分泌人工ニューロンの内部状態に関する条件と、影響を与える人工ニューロン又は人工シナプスを特定する情報と、影響内容を定める式を含む。
　図９の例において、内分泌人工ニューロンＮ２は、眠気の内分泌物質が割り当てられた内分泌人工ニューロンである。内分泌人工ニューロンＮ２に関する定義情報は、「Ｖｍｔｎ ２＞Ｔｔｎ ２」の条件、内分泌人工ニューロンＮ２が影響を与える人工ニューロンとして「感情人工ニューロンＮ１及びＮ３」、影響内容を定める式として「Ｔｔｎ＋１ ｉ＝Ｔｔｎ ｉ×１．１」が定められている。これにより、パラメータ処理部２４０は、Ｖｍｔｎ ２がＴｔｎ ２を超える場合、時刻ｔｎ＋１の感情人工ニューロンＮ１及びＮ３の閾値を、１０％上昇させる。これにより、例えば、眠気が生じた場合に、感情人工ニューロンを発火させにくくすることができる。例えば、「蓄電量が閾値以下」であることが定義された概念人工ニューロンＮ７の出力を、内分泌人工ニューロンＮ２の入力に接続したニューラルネットワークを定めることで、蓄電量が低くなると感情が高まりにくくなる現象を体現することが可能になる。
　また、内分泌人工ニューロンＮ５は、ドーパミンが割り当てられた内分泌人工ニューロンである。内分泌人工ニューロンＮ５に関する第１の定義情報は、「Ｖｍｔｎ ５＞Ｔｔｎ ５及びＶｍｔｎ ４＞Ｔｔｎ ４」の条件、内分泌人工ニューロンＮ５が影響を与える人工シナプスとして「Ｓ４９及びＳ９５」、影響内容を定める式として「ａｔｎ＋１ ｉｊ＝ａｔｎ ｉｊ×１．１」という式が定められている。これにより、パラメータ処理部２４０は、Ｖｍｔｎ ５がＴｔｎ ５を超え、かつ、Ｖｍｔｎ ４がＴｔｎ ４を超える場合、時刻ｔｎ＋１の人工シナプスＳ４９及びＳ９５の増減パラメータを１０％上昇させる。
　これにより、報酬系の内分泌人工ニューロンが発火した場合に、「ベルが鳴った」という状況が定義された概念人工ニューロンＮ４が発火していると、インプリシット人工ニューロンＮ９を介した概念人工ニューロンＮ４とＮ５との結合を強めることができる。これにより、「ベルが鳴った」場合に報酬系の内分泌人工ニューロンＮ５が発火し易くなる。
　また、内分泌人工ニューロンＮ５に関する第２の定義情報は、「Ｖｍｔｎ ５＞Ｔｔｎ ５」の条件、内分泌人工ニューロンＮ５が影響を与える人工ニューロンとして「Ｎ１」、影響内容を定める式として「Ｔｔｎ＋１ ｉ＝Ｔｔｎ ｉ×１．１」という式が定められている。これにより、パラメータ処理部２４０は、Ｖｍｔｎ ５がＴｔｎ ５を超える場合、時刻ｔｎ＋１の人工ニューロンＮ１の増減パラメータを１０％低下させる。これにより、報酬系の内分泌人工ニューロンＮ５が発火した場合に、嬉しいという感情が発火し易くなる。
　このような報酬系の内分泌人工ニューロンに関する影響を定めた定義によれば、ベルを鳴らしながらロボット４０を充電するという行為を繰り返すと、ベルを鳴らしただけでロボット４０が嬉しさを表す行動をとる、というような実装が可能になる。
　なお、影響定義情報は、図９の例に限られない。例えば、条件として、人工ニューロンの内部状態が閾値以下であるとの条件を定義してよい。また、人工ニューロンのステータスに関する条件、例えば、上昇相、下降相又は未発火に関する条件を定義してよい。また、影響範囲は、人工ニューロンや人工シナプスを直接指定する他に、「特定の人工ニューロンに接続された全人工シナプス」というような定義を行うこともできる。また、影響の式については、対象が人工ニューロンの場合、閾値を定数倍にすることの他に、閾値に定数を加えることや、内部状態の増減パラメータを定数倍するような式を定義してよい。また、対象が人工シナプスの場合、増減パラメータを定数倍することの他に、結合係数を定数倍するような式を定義してよい。
　影響定義情報は、格納部２８０の定義情報２８４内に格納される。このように、格納部２８０は、内分泌人工ニューロンに人工シナプスで直接接続されていない他の人工ニューロン及び人工シナプスの少なくとも一方のパラメータに、内分泌人工ニューロンの内部状態及び発火状態の少なくとも一方が与える影響を定めた影響定義情報を格納する。そして、パラメータ処理部２４０は、内分泌人工ニューロンの内部状態及び発火状態の少なくとも一方と、当該影響定義情報とに基づいて、内分泌人工ニューロンに人工シナプスで直接接続されていない他の人工ニューロン及び人工シナプスの少なくとも一方のパラメータを更新する。また、内分泌人工ニューロンの内部状態及び発火状態の少なくとも一方が影響を与える他の人工ニューロンのパラメータは、他の人工ニューロンの閾値、発火状態、及び、発火時の出力の時間発展を定めるパラメータの少なくとも１つを含むことができる。また、内分泌人工ニューロンの内部状態及び発火状態の少なくとも一方が影響を与える人工シナプスのパラメータは、当該人工シナプスの結合係数、及び、当該人工シナプスが結びつけている２つの人工ニューロンが最後に同時に発火した後の結合係数の時間発展を定めるパラメータの少なくとも１つを含むことができる。また、影響定義情報は、報酬系に関連づけられた内分泌人工ニューロンの発火状態が感情人工ニューロンの閾値に与える影響を定めた情報を含み、パラメータ処理部２４０は、当該内分泌人工ニューロンが発火した場合に、影響定義情報に従って、感情人工ニューロンの閾値を更新する。
　図１０は、Ｖｔｎ＋１ ｉ及びＳｔｎ＋１ ｉを計算するフローチャートを示す。本フローチャートの処理は、図５のＳ５４０内の処理の一部に適用できる。Ｓ１１００において、パラメータ処理部２４０は、Ｓｔｎ ｉが未発火を示すか否かを判断する。
　Ｓｔｎ ｉが未発火を示す場合、パラメータ処理部２４０は、Ｎｉへの入力Ｉｔｎ＋１ ｉを計算する（Ｓ１１１０）。具体的には、ニューラルネットワークの外部からの入力がＮｉに接続されていない場合、Ｉｔｎ＋１ ｉ＝ΣｊＢＳｔｎ＋１ ｊｉ×Ｖｍｔｎ ｊ×ｆ（Ｓｔｎ ｊ）によって計算する。ニューラルネットワークの外部からの入力がＮｉに接続されている場合、Ｉｔｎ＋１ ｉ＝ΣｊＢＳｔｎ＋１ ｊｉ×Ｖｍｔｎ ｊ×ｆ（Ｓｔｎ ｊ）＋Ｅｔｎ＋１ ｉによって計算する。ここで、Ｅｔｎ ｉは、ニューラルネットワークの外部からの時刻ｔｎにおける入力である。
　また、ｆ（Ｓ）は、Ｓが未発火を表す値の場合は０を返し、Ｓが上昇相又は下降相を示す値の場合は１を返す。このモデルは、ニューロンが発火した場合のみシナプスが活動電位を伝達するモデルに対応する。なお、ｆ（Ｓ）＝１を返してもよい。これは、ニューロンの発火状態によらず膜電位を伝達するモデルに対応する。
　Ｓ１１１２において、パラメータ処理部２４０は、Ｉｔｎ＋１ ｉがＴｔｎ＋１ ｉを超えるか否かを判断する。Ｉｔｎ＋１ ｉがＴｔｎ＋１ ｉを超える場合、パラメータ処理部２４０は、Ｖｍｔｎ＋１ ｉを増減パラメータに基づいて算出するとともに、Ｖｍｔｎ＋１ ｉに応じてＳｔｎ＋１ ｉを上昇相又は下降相に示す値に設定し（Ｓ１１１４）、このフローを終了する。
　Ｓ１１００において、Ｓｔｎ ｉが上昇相又は下降相である場合、パラメータ処理部２４０は、Ｖｍｔｎ＋１ ｉを算出する（Ｓ１１２０）。そして、パラメータ処理部２４０は、ｔｎ＋１までにＶｍｔ ｉがＶｍｉｎに達した場合は、Ｓｔｎ＋１ ｉを未発火の値に設定し、ｔｎ＋１までにＶｍｔ ｉがＶｍｉｎに達していない場合は、Ｓｔｎ＋１ ｉを上昇相又は下降相の値に設定して、このフローを終了する。なお、パラメータ処理部２４０は、ｔｎ＋１までにＶｍｔ ｉがＶｍａｘに達した場合はＳｔｎ＋１ ｉに下降相の値を設定し、ｔｎ＋１までにＶｍｔ ｉがＶｍａｘに達していない場合はＳｔｎ＋１ ｉに上昇相の値を設定する。
　このように、Ｎｉが発火している場合は、たとえ出力が閾値以下になっても、Ｎｉの出力は入力に依存しない。このような期間は、生体のニューロンにおける絶対不応期に対応する。
　図１１は、Ｎｉが発火しない場合のＶｔ ｉの計算例を概略的に説明する図である。
　時刻ｔ０の時間ステップにおいてＮｉは未発火である。時刻ｔ１のＩｔ１ ｉがＴｔ１ ｉ以下である場合、パラメータ処理部２４０は、時刻ｔ１におけるＶｔ１ ｉを、Ｖｔ１ ｉ＝Ｉｔ１ ｉにより計算し、時刻ｔ０からｔ１までの期間のＶｔ ｉを、Ｖｔ ｉ＝Ｉｔ０ ｉにより計算する。また、同様に、パラメータ処理部２４０は、時刻ステップｔｎで計算したＶｔｎの値を次の時刻ステップまで維持し、Ｖｔｎ＋１において、Ｉｔｎ＋１に変化させる。
　図１２は、Ｎｉが発火する場合のＶｉ ｔの計算例を概略的に説明する図である。図１２は、定数ａｉ及びｂｉが定義されている場合の計算例である。
　時刻ｔ０の時間ステップにおいて、Ｎｉは未発火である。時刻ｔ１のＩｔ１ ｉがＴｔ１ ｉを超える場合、パラメータ処理部２４０は、時刻ｔ１におけるＶｔ１ ｉを、Ｖｔ１ ｉ＝Ｉｔ１ ｉにより計算し、時刻ｔ０からｔ１までの期間のＶｔ ｉを、Ｖｔ ｉ＝Ｉｔ０ ｉにより計算する。なお、ここでは、時刻ｔ１のＩｔ１ ｉがＶｍａｘ以下であるとする。時刻ｔ１のＩｔ１ ｉがＶｍａｘを超える場合は、Ｉｔ１ ｉ＝Ｖｍａｘとする。
　パラメータ処理部２４０は、図１２に示されるように、時刻ｔ１以降、Ｖｔ ｉがＶｍａｘに達する時刻まで、Ｖｔ ｉを単位時間当たりａｔ ｉｊで増加させる。また、パラメータ処理部２４０は、この期間のＮｉのステータスＳｔ ｉを上昇相に決定する。
　また、Ｖｔ ｉがＶｍａｘに達すると、Ｖｔ ｉがＶｍｉｎに達するまで、Ｖｔ ｉを単位時間当たり｜ｂｔ ｉ｜減少させる。また、パラメータ処理部２４０は、この期間のＮｉのステータスを下降相に決定する。そして、Ｖｔ ｉがＶｍｉｎに達すると、次の時刻におけるＶｔ６ ｉを、Ｖｔ６ ｉ＝Ｉｔ６ ｉにより計算する。また、Ｖｔ ｉがＶｍｉｎに達した後のステータスを未発火に決定する。
　なお、Ｎｉのステータスが下降相にある場合、算出されたＶｍｔ ｉがＴｔ ｉを下回ったとしても、Ｖｍｔ ｉはＩｔ ｉに依存しない。パラメータ処理部２４０は、Ｖｍｔ ｉがＴｔ ｉを下回ったとしても、Ｖｍｔ ｉがＶｍｉｎに達するまで、増減パラメータに従ってＶｍｔ ｉを算出する。
　図１３は、Ｎｉの増減パラメータとして関数ｈｔ ｉが定義されている場合の結合係数の時間発展を概略的に示す。一般に、ｈｔ ｉは、発火時刻ｔｆからの経過時間Δｔ（＝ｔ－ｔｆ）≧０において定義される。ｈｔ ｉは、少なくともΔｔの関数である。ｈｔ ｉは実数の値をとり、ｈｔ ｉの値域はＶｍｉｎ以上Ｖｍａｘ以下である。
　図１３に示す関数１３００は、ｈｔ ｉの一例である。関数１３００は、時刻ｔｆにおけるＶｍｔｆ ｉ及びΔｔの関数である。関数１３００は、Δｔが所定の値より小さい範囲で場合に単調増加し、Δｔが所定の値より大きい場合に単調減少する。関数１３００は、Δｔ＝０において値Ｖｍｔｆ ｉをとる。
　図１３は、内部状態の増減パラメータとして関数１４００が定義されており、時刻ｔ１においてＮｉが発火した場合の出力を示す。パラメータ処理部２４０は、関数１４００、Δｔ及びＶｍｆ ｉに基づいて、時刻ｔ１～時刻ｔ５の各時刻のＶｍｔ ｉを計算する。Ｖｍｔ ｉは時刻ｔ５でＶｍｉｎに達しているため、時刻ｔ６ではＶｍｔ ｉ＝Ｉｔ６ ｉとなる。
　図１４は、記録形式切換ルール２９０に格納されるルール１４００の一例をテーブル形式で示す。ルール１４００は、Ｎ１、Ｎ３、Ｎｂ及びＮｃのいずれかのＶｍｔ ｉが、閾値を超えたという第１条件が少なくとも満たされた場合に、情報の記録形式を「低圧縮形式に切り換える」という動作が定められている。これにより、切換制御部２６０は、高圧縮形式で情報が記録されている場合において、第１条件が満たされない状態から第１条件が満たされた状態になったときに、情報の記録形式を低圧縮形式に切り換えると判断する。なお、閾値として、それぞれのＮｊのＶｍａｘに定数０．９を乗じた値が例示されている。閾値は、Ｔｉ ｔより高くてよい。
　また、ルール１４００には、Ｎ５及びＮａのＶｍｔ ｉの合計値が、閾値を超えたという第２条件が少なくとも満たされた場合に、データの記録形式を「低圧縮形式に切り換える」という動作が定められている。これにより、切換制御部２６０は、高圧縮形式で情報が記録されている場合において、第２条件が満たされない状態から第２条件が満たされた状態になったときに、情報の記録形式を低圧縮形式に切り換えると判断する。なお、閾値として、それぞれのＮｊのＶｍａｘの合計値に定数０．９を乗じた値が例示されている。閾値は、それぞれのＮｊのＴｉ ｔの合計値より高くてよい。
　Ｎ１、Ｎ３、Ｎｂ及びＮｃは、それぞれ「嬉しい」、「悲しい」、「怖い」及び「楽しい」という感情が定義された感情人工ニューロンである。したがって、パラメータ処理部２４０において感情人工ニューロンの内部状態に基づいて感情の強さが決定され、決定された感情の強さが予め定められた閾値を超えたことに応じて、記録形式を低圧縮形式に切り換えることができる。
　Ｎ５及びＮａは、それぞれ「ドーパミン」及び「ノルアドレナリン」の内分泌物質が定義された内分泌人工ニューロンである。これらの内分泌人工ニューロンの内部状態のパラメータの合計値は、「興奮」という感情の強さを表す指標の一例である。したがって、パラメータ処理部２４０において内分泌人工ニューロンの内部状態に基づいて感情の強さが決定され、決定された感情の強さが予め定められた閾値を超えたことに応じて、記録形式を低圧縮形式に切り換えることができる。
　また、ルール１４００には、Ｎ１、Ｎ３、Ｎｂ及びＮｃのいずれのＶｍｔ ｉも第１閾値以下であり、かつ、Ｎ５及びＮａのＶｍｔ ｉの合計値が第２閾値以下であるという第３条件が満たされた場合に、データの記録形式を「高圧縮形式に切り換える」という動作が定められている。したがって、切換制御部２６０は、低圧縮形式で情報が記録されている場合において、第３条件が満たされない状態から第３条件が満たされた状態になったときに、情報の記録形式を高圧縮形式に切り換えると判断する。このように、感情の強さが予め定められた閾値以下となったことに応じて、記録形式を高圧縮形式に切り換えることができる。
　なお、第３条件の第１閾値は、それぞれのＮｊのＶｍａｘに定数０．８を乗じた値である。また、第３条件の第２閾値は、それぞれのＮｊのＶｍａｘの合計値に定数０．８を乗じた値である。このように、第３条件の第１閾値が第１条件の閾値より小さく、第３条件の第２閾値が第２条件の閾値より小さい場合が例示されている。しかし、第１閾値は第１条件の閾値と同じであってよく、第２閾値は第２条件の閾値と同じであってもよい。また、第３条件の第１閾値は、それぞれのＮｊのＴｉ ｔより高くてよい。また、第３条件の第２閾値は、それぞれのＮｊのＴｉ ｔの合計値より高くてよい。また、各条件の閾値には、これらの例に限られず、様々な値を適用できる。
　システム２０によれば、ロボット４０は、ロボット４０の感情が著しく高くない状態にある期間、骨格データ等の高圧縮形式の情報を連続的にサーバ２００に送信して、サーバ２００に記録させる。サーバ２００に記録された継続的な骨格データ等の情報は、ロボット４０の記憶を解析する場合に使用することができる。そして、ロボット４０は、ロボット４０の感情が著しく高まると、フルＨＤの映像データ及び音声データの送信を開始し、感情が一定値以上強い状態が続く期間、骨格データに加えて、フルＨＤの映像データ及び音声データを含む低圧縮形式の情報をサーバ２００に記録させる。そして、ロボット４０は、例えばロボット４０の思い出の映像を提供するようユーザ３０から要求された場合に、フルＨＤの映像データ及び音声データを送信するようサーバ２００に要求して、サーバ２００から受信した映像データ及び音声データをユーザ３０に提供する。
　このように、システム２０によれば、ロボット４０が強い感情を抱いたシーンの高画質な映像データを、サーバ２００に蓄積することができる。一方、ロボット４０が強い感情を抱いていない場合は、骨格データ等の概略化した情報をサーバ２００に蓄積することができる。このように、ロボット４０は、人間と同じように、強い感情を抱いたときの記憶を鮮明に残しつつ、強い感情を抱いていないときの記憶は概略化して残るようにことができる。
　なお、本実施形態では、感情として「嬉しい」、「悲しい」、「怖い」、「楽しい」及び「興奮」を取り上げて説明したが、システム２０で扱う感情はこれらに限定されない。また、本実施形態では、内分泌物質として「ドーパミン」、「セロトニン」及び「ノルアドレナリン」を取り上げて説明したが、システム２０で扱う内分泌物質はこれらに限定されない。
　また、サーバ２００の機能は、１以上のコンピュータによって実装されてよい。サーバ２００の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ２００の機能の少なくとも一部は、クラウドで実装されてよい。また、サーバ２００の機能のうち、格納部２８０を除く構成要素の機能は、ＣＰＵがプログラムに基づいて動作することによって実現できる。例えば、サーバ２００の動作として説明した処理の少なくとも一部は、プロセッサがプログラムに従ってコンピュータが有する各ハードウェア（例えば、ハードディスク、メモリ等）を制御することにより実現できる。このように、サーバ２００の処理の少なくとも一部は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、ハードディスク、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現できる。すなわち、プログラムが、サーバ２００の各構成要素としてコンピュータを機能させることができる。同様に、ロボット４０の構成要素のうち、制御対象１５５、センサ部１５６を除く構成要素の機能は、ＣＰＵがプログラムに基づいて動作することによって実現できる。すなわち、プログラムが、ロボット４０の各構成要素としてコンピュータを機能させることができる。なお、コンピュータは、上述した処理の実行を制御するプログラムを読み込み、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータは、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムを読み込むことができる。また、当該プログラムは通信回線を通じてコンピュータに供給され、コンピュータは、通信回線を通じて供給されたプログラムを読み込んでよい。
　以上に説明した実施形態では、ロボット４０とは異なるサーバ２００が、ニューラルネットワークの処理を担う。また、ロボット４０とは異なるサーバ２００が、映像データ等の情報を格納する。しかし、ロボット４０自身が、ニューラルネットワークの処理等の、サーバ２００の機能を担ってよい。また、ロボット４０自身が、映像データ等の情報を格納してよい。また、ロボット４０は、サーバ２００による制御対象となる機器の一例である。制御対象となる機器はロボット４０に限られず、家電製品、乗物、玩具等の様々な機器を制御対象として適用できる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１、２、３、４、５、６、７、８、９、ａ、ｂ、ｃ　人工ニューロン
２０　システム
３０　ユーザ
４０　ロボット
９０　通信網
１５２　処理部
１５５　制御対象
１５６　センサ部
１５８　通信部
１６１　マイク
１６２　３Ｄ深度センサ
１６３　２Ｄカメラ
１６４　距離センサ
２００　サーバ
２０２　処理部
２０８　通信部
２１０　初期値設定部
２３０　外部入力データ生成部
２４０　パラメータ処理部
２５０　動作決定部
２６０　切換制御部
２７０　記録制御部
２８０　格納部
２８２　動作決定ルール
２８４　定義情報
２８６　パラメータ初期値
２８８　パラメータ
２９０　記録形式切換ルール
２９２　記録データ
３００　ニューラルネットワーク
３０１、３０２、３０３、３０４、３０５、３０６、３０７、３０８、３０９、３１０、３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１８、３１９　人工シナプス
７００、１３００　関数
１４００　ルール

Claims (9)

  1. 　制御システムであって、
    　センサによって連続的に検出された情報の少なくとも一部を処理して、第１記録形式の情報又は前記第１記録形式の情報より情報量が多い第２記録形式の情報を生成する記録情報生成部と、
    　前記記録情報生成部が生成した情報を記録させる記録制御部と、
    　前記センサによって検出された情報の少なくとも一部に基づいて、前記制御システムにおける感情の強さを決定する感情決定部と、
    　前記記録情報生成部に前記第１記録形式の情報を生成させている場合に、前記感情決定部によって決定された感情の強さが高まったことに応じて、前記記録制御部が記録させる情報の記録形式を、前記第１記録形式から前記第２記録形式に切り換える切換制御部と
    を備える制御システム。
  2. 　前記感情決定部は、前記センサによって検出された情報の少なくとも一部に基づいて、ニューラルネットワークを用いて前記感情の強さを決定する
    請求項１に記載の制御システム。
  3. 　前記ニューラルネットワークを構成する複数の人工ニューロンには、現在の感情が定義された人工ニューロンである感情人工ニューロンを含み、
    　前記感情決定部は、前記感情人工ニューロンの内部状態に基づいて、前記制御システムにおける感情の強さを決定する
    請求項２に記載の制御システム。
  4. 　前記ニューラルネットワークを構成する複数の人工ニューロンには、内分泌物質の発生状態が定義された人工ニューロンである内分泌人工ニューロンが含まれ、
    　前記感情決定部は、前記内分泌人工ニューロンの内部状態に基づいて、前記制御システムにおける感情の強さを決定する
    請求項２又は３に記載の制御システム。
  5. 　前記センサは、被写体を連続的に撮像するイメージセンサを含み、
    　前記第１記録形式の情報は、前記イメージセンサで撮像された物体の形状を表現する形状データを含み、
    　前記第２記録形式の情報は、形状データより情報量が多い、前記イメージセンサの出力に基づく動画データを含む
    請求項１から４のいずれか１項に記載の制御システム。
  6. 　前記記録制御部により記録された、前記動画データを含む前記第２記録形式の情報を取得する第２記録情報取得部と、
    　前記第２記録情報取得部が取得した前記第２記録形式の情報に含まれる前記動画データに基づいて、ユーザに提示される映像を生成する映像生成部と
    を更に備える請求項５に記載の制御システム。
  7. 　前記記録制御部は、前記記録情報生成部が生成した情報を、外部のサーバに送信して前記サーバに記録させる
    請求項１から６のいずれか一項に記載の制御システム。
  8. 　請求項７に記載の制御システムと、
    　前記サーバと
    を備えるシステム。
  9. 　コンピュータを、請求項１から７のいずれか１項に記載の制御システムとして機能させるためのプログラム。
PCT/JP2016/066311 2015-06-17 2016-06-01 制御システム、システム及びプログラム WO2016203964A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16811439.5A EP3312775B1 (en) 2015-06-17 2016-06-01 Control system, system, and program
CN201680034833.7A CN107710235A (zh) 2015-06-17 2016-06-01 控制系统、系统以及程序
US15/841,172 US20180357528A1 (en) 2015-06-17 2017-12-13 Control system, system and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-122406 2015-06-17
JP2015122406A JP6199927B2 (ja) 2015-06-17 2015-06-17 制御システム、システム及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/841,172 Continuation US20180357528A1 (en) 2015-06-17 2017-12-13 Control system, system and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2016203964A1 true WO2016203964A1 (ja) 2016-12-22

Family

ID=57545642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066311 WO2016203964A1 (ja) 2015-06-17 2016-06-01 制御システム、システム及びプログラム

Country Status (5)

Country Link
US (1) US20180357528A1 (ja)
EP (1) EP3312775B1 (ja)
JP (1) JP6199927B2 (ja)
CN (1) CN107710235A (ja)
WO (1) WO2016203964A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021154393A (ja) * 2018-07-12 2021-10-07 ソニーグループ株式会社 制御装置、制御方法、及びプログラム
JP7305850B1 (ja) 2022-06-30 2023-07-10 菱洋エレクトロ株式会社 機械学習を利用したシステム、端末、サーバ、方法、及び、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202892A (ja) * 2002-01-09 2003-07-18 Aruze Corp 音声ロボットシステム及び音声ロボット動作方法
JP2016012914A (ja) * 2014-06-05 2016-01-21 ソフトバンク株式会社 記録制御システム、システム及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3159242B2 (ja) * 1997-03-13 2001-04-23 日本電気株式会社 感情生成装置およびその方法
US6604091B2 (en) * 1999-09-10 2003-08-05 Yamaha Hatsudoki Kabushiki Kaisha Interactive artificial intelligence
KR101006191B1 (ko) * 2002-08-06 2011-01-07 윤재민 가상인격체의 감정표현과 동작구현방법
JP4546767B2 (ja) * 2004-06-09 2010-09-15 日本放送協会 感情推定装置及び感情推定プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202892A (ja) * 2002-01-09 2003-07-18 Aruze Corp 音声ロボットシステム及び音声ロボット動作方法
JP2016012914A (ja) * 2014-06-05 2016-01-21 ソフトバンク株式会社 記録制御システム、システム及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3312775A4 *

Also Published As

Publication number Publication date
US20180357528A1 (en) 2018-12-13
EP3312775B1 (en) 2020-12-16
EP3312775A4 (en) 2018-06-27
CN107710235A (zh) 2018-02-16
EP3312775A1 (en) 2018-04-25
JP6199927B2 (ja) 2017-09-20
JP2017010132A (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
JP6446126B2 (ja) 処理システム及びプログラム
US9921653B2 (en) Haptic authoring tool using a haptification model
US8321221B2 (en) Speech communication system and method, and robot apparatus
WO2017215297A1 (zh) 云端互动系统及其多感知型智能机器人和感知互动方法
US9117316B1 (en) Social identity models for automated entity interactions
KR101727592B1 (ko) 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법
WO2021135812A1 (zh) 一种情绪信息的处理方法及装置
JP2022553617A (ja) 途絶の間のアプリケーションへの自動ユーザ入力の提供
JP6273314B2 (ja) 記憶制御システム、システム及びプログラム
JP2017010133A (ja) 感情制御システム、システム及びプログラム
JP6199927B2 (ja) 制御システム、システム及びプログラム
WO2019144346A1 (zh) 虚拟场景中的对象处理方法、设备及存储介质
JPH10143351A (ja) インタフェース装置
JP6864085B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200065499A (ko) 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇
JP5983159B2 (ja) 視線制御装置、視線制御方法及び視線制御プログラム並びに端末装置
JP6273313B2 (ja) 感情特定システム、システム及びプログラム
JP4774825B2 (ja) 演技評価装置及び方法
KR20230072199A (ko) 감정 표현 객체 생성 장치 및 이를 포함하는 감정 표현 객체 생성 시스템 및 그 제어방법
JP2021523472A (ja) 複数のロボットエフェクターを制御するための方法
KR102584466B1 (ko) 메타버스 기반의 인형을 이용한 커뮤니티 제공 방법 및 시스템
JP6758484B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018051648A (ja) ロボット制御装置、ロボット、ロボット制御方法、及びプログラム
WO2018189791A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN118036694A (zh) 一种训练智能体的方法、装置和设备及计算机存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811439

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE