WO2021149516A1 - 自律移動体、情報処理方法、プログラム、及び、情報処理装置 - Google Patents
自律移動体、情報処理方法、プログラム、及び、情報処理装置 Download PDFInfo
- Publication number
- WO2021149516A1 WO2021149516A1 PCT/JP2021/000488 JP2021000488W WO2021149516A1 WO 2021149516 A1 WO2021149516 A1 WO 2021149516A1 JP 2021000488 W JP2021000488 W JP 2021000488W WO 2021149516 A1 WO2021149516 A1 WO 2021149516A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound
- mobile body
- autonomous mobile
- output
- autonomous
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 120
- 230000033001 locomotion Effects 0.000 claims description 68
- 230000008569 process Effects 0.000 claims description 53
- 230000008859 change Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 8
- 230000036632 reaction speed Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 18
- 238000013519 translation Methods 0.000 description 69
- 230000001133 acceleration Effects 0.000 description 33
- 230000009471 action Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 25
- 230000010391 action planning Effects 0.000 description 24
- 241000282326 Felis catus Species 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- NDAUXUAQIAJITI-UHFFFAOYSA-N albuterol Chemical compound CC(C)(C)NCC(O)C1=CC=C(O)C(CO)=C1 NDAUXUAQIAJITI-UHFFFAOYSA-N 0.000 description 5
- 230000008451 emotion Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 210000003323 beak Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000009187 flying Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000009183 running Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009184 walking Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
Definitions
- the present technology relates to autonomous mobiles, information processing methods, programs, and information processing devices, and in particular, autonomous mobiles, information processing methods, programs, and information processing devices that improve the user experience by the output sound of the autonomous mobiles.
- information processing equipment Regarding information processing equipment.
- the emotional state of the robot is determined according to the user's action, and the action content and voice content according to the determined emotion are selected and selected from the performance information according to the exterior unit mounted on the robot. It has been proposed to autonomously operate the robot based on the action content and the voice content (see, for example, Patent Document 1).
- This technology was made in view of such a situation, and is intended to improve the user experience by the output sound of an autonomous mobile body such as a robot.
- the autonomous mobile body on one aspect of the present technology is a recognition unit that recognizes a combination device that is a device combined with the own device, and an output sound output from the own device based on the recognition result of the combination device.
- the control method is changed, and the sound control unit that controls the output sound is provided based on the changed control method.
- the information processing method of one aspect of the present technology recognizes a combination device that is a device combined with the autonomous mobile body, and controls the output sound output from the autonomous mobile body based on the recognition result of the combination device.
- the method is changed, and the output sound is controlled based on the changed control method.
- the program of one aspect of the present technology recognizes a combination device that is a device combined with the autonomous mobile body, and based on the recognition result of the combination device, controls a method of controlling an output sound output from the autonomous mobile body. The output sound is controlled based on the changed control method.
- the information processing device of one aspect of the present technology is a recognition unit that recognizes a combination device that is a device combined with the autonomous moving body, and an output output from the autonomous moving body based on the recognition result of the combination device.
- the sound control method is changed, and the sound control unit that controls the output sound is provided based on the changed control method.
- a combination device which is a device combined with an autonomous mobile body, is recognized, and a control method of an output sound output from the autonomous mobile body is performed based on the recognition result of the combination device. Is changed, and the output sound is controlled based on the changed control method.
- Embodiment >> Embodiments of the present technology will be described with reference to FIGS. 1 to 23.
- FIG. 1 shows an embodiment of an information processing system 1 to which the present technology is applied.
- the information processing system 1 includes an autonomous mobile body 11, an information processing server 12, and a device to be operated 13.
- the autonomous mobile body 11, the information processing server 12, and the operated device 13 are connected via the network 14.
- the autonomous mobile body 11 is an information processing device that performs autonomous operation without the control of the information processing server 12 or under the control of the information processing server 12.
- the autonomous mobile body 11 is composed of various robots such as a traveling type, a walking type, a flying type, and a swimming type.
- the autonomous mobile body 11 is an agent device that enables more natural and effective communication with the user.
- One of the features of the autonomous mobile body 11 is that it actively executes various actions (hereinafter, also referred to as incentive actions) that induce communication with the user.
- the autonomous mobile body 11 can actively present information to the user based on environmental recognition. Further, for example, the autonomous mobile body 11 actively executes various incentive actions that urge the user to perform a predetermined action.
- the incentive action by the autonomous mobile body 11 is an active and positive interference with the physical space.
- the autonomous mobile body 11 can move in a physical space and perform various physical actions on a user, a living thing, an article, or the like.
- the user can comprehensively recognize the movement of the autonomous mobile body through visual, auditory, and tactile senses, and simply uses voice to interact with the user. Compared with, it is possible to realize advanced communication.
- the autonomous mobile body 11 can express its own state and communicate with the user and other autonomous mobile bodies by outputting an output sound.
- the output sound of the autonomous mobile body 11 includes an operation sound output corresponding to the situation of the autonomous mobile body 11 and an utterance sound for communicating with a user, another autonomous mobile body, or the like.
- the operation sound includes a sound output in response to the movement of the autonomous mobile body 11 and a sound output in response to a stimulus to the autonomous mobile body 11.
- the sound output corresponding to the movement of the autonomous moving body 11 is not only the sound output when the autonomous moving body 11 is actively moved, but also is output when the autonomous moving body 11 is passively moved.
- Including the sound of The stimulus to the autonomous mobile body 11 is, for example, a stimulus to any of the five senses (sight, hearing, smell, taste, and touch) of the autonomous mobile body 11.
- the autonomous mobile body 11 cannot always recognize all the intervals of the five senses.
- the utterance sound does not necessarily have to be a voice representing a language that can be understood by humans, and may be, for example, a voice representing a non-language that imitates the bark of an animal or the like.
- the information processing server 12 is an information processing device that controls the operation of the autonomous mobile body 11.
- the information processing server 12 has a function of causing the autonomous mobile body 11 to execute various incentive actions that induce communication with a user.
- the operated device 13 is various devices operated by the autonomous mobile body 11 and the information processing server 12.
- the autonomous mobile body 11 can operate various devices to be operated 13 without the control of the information processing server 12 or by the control of the information processing server 12.
- the operated device 13 is composed of, for example, home appliances such as a lighting device, a game device, and a television device.
- the autonomous mobile body 11 can be various devices that perform autonomous operations based on environmental recognition.
- the autonomous moving body 11 is an ellipsoidal agent-type robot device that autonomously travels by wheels will be described as an example.
- the autonomous mobile body 11 realizes various communications including information presentation by performing autonomous operations according to, for example, the user, the surroundings, and its own situation.
- the autonomous mobile body 11 is, for example, a small robot having a size and weight that can be easily lifted by a user with one hand.
- FIG. 2 is a front view of the autonomous mobile body 11, and FIG. 3 is a rear view of the autonomous mobile body 11.
- a and B of FIG. 4 are perspective views of the autonomous mobile body 11.
- FIG. 5 is a side view of the autonomous mobile body 11.
- FIG. 6 is a top view of the autonomous mobile body 11.
- FIG. 7 is a bottom view of the autonomous mobile body 11.
- the autonomous mobile body 11 includes an eye portion 101L and an eye portion 101R corresponding to the left eye and the right eye in the upper part of the main body.
- the eye portion 101L and the eye portion 101R are realized by, for example, an LED or the like, and can express a line of sight, blinking, or the like.
- the eye portion 101L and the eye portion 101R are not limited to the above examples, and may be realized by, for example, two single or independent OLEDs (Organic Light Emitting Diodes).
- the autonomous moving body 11 includes a camera 102L and a camera 102R above the eye portion 101L and the eye portion 101R.
- the camera 102L and the camera 102R have a function of photographing the user and the surrounding environment.
- the autonomous mobile body 11 may realize SLAM (Simultaneous Localization and Mapping) based on the images captured by the camera 102L and the camera 102R.
- SLAM Simultaneous Localization and Mapping
- the eye portion 101L, the eye portion 101R, the camera 102L, and the camera 102R are arranged on a substrate (not shown) arranged inside the exterior surface.
- the exterior surface of the autonomous moving body 11 is basically formed by using an opaque material, but is formed on a portion corresponding to an eye portion 101L, an eye portion 101R, a camera 102L, and a substrate on which the camera 102R is arranged. Is provided with a head cover 104 made of a transparent or translucent material. As a result, the user can recognize the eye portion 101L and the eye portion 101R of the autonomous moving body 11, and the autonomous moving body 11 can image the outside world.
- the autonomous mobile body 11 is provided with a ToF (Time of Flight) sensor 103 at the lower part of the front surface.
- the ToF sensor 103 has a function of detecting a distance from an object existing in front of the sensor 103.
- the autonomous moving body 11 can, for example, detect distances to various objects with high accuracy, detect steps, and the like to prevent falling or falling by using the ToF sensor 103.
- the autonomous mobile body 11 is provided with a connection terminal 105 for an external device and a power switch 106 on the back surface.
- the autonomous mobile body 11 can be connected to an external device via, for example, a connection terminal 105 to perform information communication.
- the autonomous moving body 11 is provided with wheels 107L and wheels 107R on the bottom surface.
- the wheels 107L and 107R are driven by different motors (not shown).
- the autonomous moving body 11 can realize moving operations such as forward movement, backward movement, turning, and rotation.
- the wheels 107L and the wheels 107R can be stored inside the main body and protrude to the outside.
- the autonomous mobile body 11 can perform a jumping operation by vigorously projecting the wheels 107L and the wheels 107R to the outside.
- FIG. 7 shows a state in which the wheels 107L and the wheels 107R are stored inside the main body.
- the eye portion 101L and the eye portion 101R individually when it is not necessary to distinguish the eye portion 101L and the eye portion 101R individually, they are simply referred to as the eye portion 101.
- the camera 102L and the camera 102R individually when it is not necessary to distinguish the camera 102L and the camera 102R individually, it is simply referred to as the camera 102.
- the wheel 107L and the wheel 107R individually when it is not necessary to distinguish the wheel 107L and the wheel 107R individually, they are simply referred to as the wheel 107.
- the autonomous mobile body 11 includes an inertial sensor 121 and a communication device 122 arranged on an electronic substrate.
- the inertial sensor 121 detects the acceleration and the angular velocity of the autonomous moving body 11.
- the communication device 122 has a configuration for realizing wireless communication with the outside, and includes, for example, a Bluetooth or Wi-Fi antenna.
- the autonomous mobile body 11 includes, for example, a speaker 123 inside the side surface of the main body.
- the autonomous mobile body 11 can output various sounds by the speaker 123.
- the autonomous mobile body 11 includes a microphone 124L, a microphone 124M, and a microphone 124R inside the upper part of the main body.
- the microphone 124L, the microphone 124M, and the microphone 124R collect the user's utterance and the ambient sound. Further, by including the plurality of microphones 124L, the microphones 124M, and the microphones 124R, the autonomous mobile body 11 can collect the sounds generated in the surroundings with high sensitivity and detect the position of the sound source.
- the autonomous mobile body 11 includes motors 125A to 125E (however, motors 125E are not shown).
- the motor 125A and the motor 125B drive, for example, the substrate on which the eye portion 101 and the camera 102 are arranged in the vertical direction and the horizontal direction.
- the motor 125C realizes a forward leaning posture of the autonomous moving body 11.
- the motor 125D drives the wheels 107L.
- the motor 125E drives the wheels 107R.
- the autonomous mobile body 11 can express abundant movements by the motors 125A to 125E.
- the microphones are simply referred to as microphones 124.
- the motor 125A to the motor 125E individually it is simply referred to as the motor 125.
- FIG. 10 shows a configuration example of the function of the autonomous mobile body 11.
- the autonomous mobile body 11 includes a control unit 201, a sensor unit 202, an input unit 203, a light source 204, a sound output unit 205, a drive unit 206, and a communication unit 207.
- the control unit 201 has a function of controlling each configuration included in the autonomous mobile body 11.
- the control unit 201 controls, for example, the start and stop of each configuration. Further, the control unit 201 supplies the control signal or the like received from the information processing server 12 to the light source 204, the sound output unit 205, and the drive unit 206.
- the sensor unit 202 has a function of collecting various data related to the user and the surrounding situation.
- the sensor unit 202 includes the above-mentioned camera 102, ToF sensor 103, inertial sensor 121, microphone 124, and the like.
- the sensor unit 202 may include various sensors such as various optical sensors including a geomagnetic sensor, a touch sensor, an IR (infrared) sensor, a temperature sensor, a humidity sensor, and the like. good.
- the sensor unit 202 supplies the sensor data output from each sensor to the control unit 201.
- the input unit 203 includes, for example, buttons and switches such as the power switch 106 described above, and detects a physical input operation by the user.
- the light source 204 includes, for example, the above-mentioned eye portion 101 and the like, and expresses the eye movement of the autonomous moving body 11.
- the sound output unit 205 includes, for example, the speaker 123 and an amplifier described above, and outputs an output sound based on the output sound data supplied from the control unit 201.
- the drive unit 206 includes, for example, the wheels 107 and the motor 125 described above, and is used to express the body movement of the autonomous mobile body 11.
- the communication unit 207 includes, for example, the connection terminal 105 and the communication device 122 described above, and communicates with the information processing server 12, the operated device 13, and other external devices.
- the communication unit 207 transmits the sensor data supplied from the sensor unit 202 to the information processing server 12, and outputs a control signal for controlling the operation of the autonomous moving body 11 and an output sound from the autonomous moving body 11.
- the output sound data for making the information processing is received from the information processing server 12.
- FIG. 11 shows a configuration example of the information processing unit 241 realized by the control unit 201 of the autonomous mobile body 11 executing a predetermined control program.
- the information processing unit 241 includes a recognition unit 251, an action planning unit 252, an operation control unit 253, and a sound control unit 254.
- the recognition unit 251 has a function of recognizing various information about the user and environment around the autonomous mobile body 11 and the autonomous mobile body 11 based on the sensor data supplied from the sensor unit 202.
- the recognition unit 251 recognizes the user, recognizes the user's facial expression and line of sight, object recognition, color recognition, shape recognition, marker recognition, obstacle recognition, step recognition, brightness recognition, and recognition of the stimulus to the autonomous moving body 11. And so on.
- the recognition unit 251 recognizes emotions related to the user's voice, understands words, recognizes the position of a sound source, and the like.
- the recognition unit 251 recognizes the ambient temperature, the existence of an animal body, the posture and movement of the autonomous moving body 11, and the like.
- the recognition unit 251 recognizes a device combined with the autonomous mobile body 11 (hereinafter, referred to as a combination device).
- the autonomous mobile body 11 is combined with the combination device, for example, when one of the autonomous mobile body 11 and the combination device is attached to the other, when one of the autonomous mobile body 11 and the combination device rides on the other, the autonomous movement It is assumed that the body 11 and the combination device are combined.
- the combination device for example, a part that can be attached to and detached from the autonomous moving body 11 (hereinafter, referred to as an optional part) and a moving body on which the autonomous moving body 11 can ride (hereinafter, referred to as a boarding moving body).
- a mounting device A device to which the autonomous mobile body 11 can be attached and detached (hereinafter, referred to as a mounting device) and the like are assumed.
- Optional parts include, for example, parts that imitate parts of the animal's body (for example, eyes, ears, nose, mouth, beak, horns, tail, wings, etc.), costumes, costumes, and the functions and abilities of the autonomous moving body 11. Parts (for example, medals, weapons, etc.), wheels, caterpillars, etc. that expand the above are assumed.
- the boarding mobile body for example, a car, a drone, a robot type vacuum cleaner, or the like is assumed.
- the attachment destination device for example, a united robot composed of a plurality of parts including the autonomous mobile body 11 is assumed.
- the combination device does not necessarily have to be a device dedicated to the autonomous mobile body 11, and may be, for example, a general-purpose device.
- the recognition unit 251 has a function of estimating and understanding the environment and situation in which the autonomous mobile body 11 is placed based on the recognized information. At this time, the recognition unit 251 may comprehensively estimate the situation by using the environmental knowledge stored in advance.
- the recognition unit 251 supplies data indicating the recognition result to the action planning unit 252, the motion control unit 253, and the sound control unit 254.
- the action planning unit 252 sets an operation mode that defines the operation of the autonomous mobile body 11 based on the recognition result by the recognition unit 251, for example, the recognition result of the combination device by the recognition unit 251. Further, the action planning unit 252 has a function of planning the action to be performed by the autonomous mobile body 11 based on, for example, the recognition result by the recognition unit 251, the operation mode, and the learning knowledge. Further, the action planning unit 252 executes the action plan by using a machine learning algorithm such as deep learning. The action planning unit 252 supplies the operation data and the data indicating the action plan to the operation control unit 253 and the sound control unit 254.
- the operation control unit 253 controls the operation of the autonomous moving body 11 by controlling the light source 204 and the drive unit 206 based on the recognition result by the recognition unit 251 and the action plan by the action planning unit 252 and the operation mode. ..
- the motion control unit 253, for example, moves the autonomous moving body 11 in a forward leaning posture, or causes a back-and-forth motion, a turning motion, a rotational motion, or the like. Further, the motion control unit 253 causes the autonomous mobile body 11 to actively execute an incentive motion that induces communication between the user and the autonomous mobile body 11. Further, the motion control unit 253 supplies information regarding the motion performed by the autonomous mobile body 11 to the sound control unit 254.
- the sound control unit 254 controls the output sound by controlling the sound output unit 205 based on the recognition result by the recognition unit 251 and the action plan by the action planning unit 252, and the operation mode. For example, the sound control unit 254 sets an output sound control method based on an operation mode or the like, and controls the output sound (for example, the content of the output sound to be generated and the output of the output sound) based on the set control method. Control the timing, etc.). Then, the sound control unit 254 generates output sound data for outputting the output sound and supplies it to the sound output unit 205. Further, the sound control unit 254 supplies information regarding the output sound output by the autonomous mobile body 11 to the operation control unit 253.
- the sound control unit 254 uses, for example, an FM sound source to generate an output sound composed of synthetic sounds. At this time, the sound control unit 254 dynamically and continuously changes various parameters related to the synthesis of the FM sound source, and the waveform of the synthetic sound, that is, the pitch (pitch, pitch), the volume, and the sound of the synthetic sound. By changing the tone color, speed, etc., it is possible to express the impression and emotional meaning of the synthetic sound in various ways.
- FIG. 12 is a diagram for explaining parameters related to synthetic sounds.
- FIG. 12 shows the relationship between the configuration of the synthesizer that synthesizes the FM sound source and the output mode expressed by the synthesized sound by changing the parameters related to each configuration.
- the sound control unit 254 can change the basic texture of the sound by, for example, changing the parameters related to the oscillator.
- the sound control unit 254 can express a soft impression by using a sound waveform as a sine wave, and can express a sharp impression by using a sawtooth shape.
- the sound control unit 254 can express the gender difference, intonation, emotional ups and downs, etc. by controlling the parameters of the pitch controller, that is, the pitch, for example.
- FIG. 13 is a diagram showing an example of emotions that can be expressed by controlling the pitch and speed of sound.
- the size (area) of the hatched area in FIG. 13 indicates the volume. It is known that the pitch and speed of sound have a strong influence on the emotional recall of sound.
- the sound control unit 254 can express the degree of joy or anger by setting the pitch and speed relatively high, for example. On the contrary, the sound control unit 254 can also express grief by setting the pitch and speed relatively low. In this way, the sound control unit 254 can express various emotions and their degrees by controlling the pitch and speed of the sound.
- the sound control unit 254 can express the clarity of the sound (how to open the mouth) by controlling the parameters of the filter.
- the sound control unit 254 can express a muffled sound or an open sound by, for example, raising or lowering the frequency of the high-cut filter.
- the sound control unit 254 can change the accent of the voice volume and the impression of how to start and end by changing the time of the amplifier.
- the sound control unit 254 can express the trembling and smoothness of the voice by controlling the parameters of the modulator.
- the sound control unit 254 can express various impressions and emotional meanings by changing each parameter related to the oscillator, the modulator, the pitch controller, the filter, the amplifier, and the like.
- FIG. 14 shows an example of the functional configuration of the information processing server 12.
- the information processing server 12 includes a communication unit 301, a recognition unit 302, an action planning unit 303, an operation control unit 304, and a sound control unit 305.
- the communication unit 301 communicates with the autonomous mobile body 11 and the operated device 13 via the network 14. For example, the communication unit 301 receives sensor data from the autonomous mobile body 11 and receives a control signal for controlling the operation of the autonomous mobile body 11 and output sound data for outputting an output sound from the autonomous mobile body 11. It transmits to the autonomous mobile body 11.
- the recognition unit 302, the action planning unit 303, the motion control unit 304, and the sound control unit 305 are the same as the recognition unit 251 of the autonomous moving body 11, the action planning unit 252, the motion control unit 253, and the sound control unit 254. It has a function. That is, the recognition unit 302, the action planning unit 303, the motion control unit 304, and the sound control unit 305 are the recognition unit 251 of the autonomous moving body 11, the action planning unit 252, the motion control unit 253, and the sound control unit 254. Instead, various processes can be performed.
- the information processing server 12 can remotely control the autonomous mobile body 11, and the autonomous mobile body 11 performs various operations and outputs various output sounds under the control of the information processing server 12. It becomes possible to do.
- the autonomous mobile body 11 independently performs various operations and outputs various output sounds without being controlled by the information processing server 12.
- This process starts when the power of the autonomous mobile body 11 is turned on, and ends when the power of the autonomous mobile body 11 is turned off, for example.
- step S1 the recognition unit 251 determines whether or not the combination of the combination devices has changed.
- the recognition unit 251 detects the addition and deletion of the combination device combined with the autonomous mobile body 11 based on the sensor data and the like supplied from the sensor unit 202.
- the recognition unit 251 does not detect the addition or deletion of the combination device, it determines that the combination of the combination devices has not changed, and performs this determination process at a predetermined timing until it determines that the combination of the combination devices has changed. Repeat with.
- the recognition unit 251 detects the addition or deletion of the combination device, it determines that the combination of the combination devices has changed, and the process proceeds to step S2.
- the recognition method of the combination device is not particularly limited. An example of the recognition method of the combination device will be described below.
- a method of electrically recognizing a combination device can be considered.
- the combination device is recognized by passing an electric signal between the autonomous mobile body 11 and the combination device.
- a method of recognizing a combination device using a physical switch can be considered. For example, when the combination device is combined with the autonomous mobile body 11, the combination device is recognized by pressing the contact switch provided on the autonomous mobile body 11 by the combination device. For example, when the combination device is combined with the autonomous mobile body 11, the combination device is recognized because the optical switch provided on the autonomous mobile body 11 is shielded from light by the combination device.
- a method of optically recognizing a combination device using visual information such as a color and a barcode can be considered.
- the combination device and the features (for example, color, shape, etc.) of the combination device and the combination device are recognized based on the images captured by the camera 102L and the camera 102R.
- a method of recognizing a combination device by magnetic force can be considered.
- the combination device is recognized based on the magnetic force of the magnet provided in the combination device.
- a method of recognizing a combination device by radio waves can be considered.
- the recognition unit 251 reads information from an RFID (Radio Frequency Identifier) provided in the combination device by the communication device 122 of the autonomous mobile body 11, or performs short-range wireless communication such as Bluetooth or Wi-Fi with the combination device. Recognize the combination device based on the result of doing it.
- RFID Radio Frequency Identifier
- the combination device is recognized by applying a predetermined rule to the detected value based on the sensor data from the sensor unit 202.
- the ratio of the vibration amount of the autonomous moving body 11 to the moving amount (odometry) of the autonomous moving body 11 changes depending on whether the autonomous moving body 11 gets on the wheel or the wheel. For example, when the autonomous moving body 11 gets on the wheel, the vibration amount of the autonomous moving body 11 decreases, while the moving amount of the autonomous moving body 11 increases. On the other hand, when the autonomous moving body 11 gets on the wheel, the vibration amount of the autonomous moving body 11 increases, while the moving amount of the autonomous moving body 11 decreases. Therefore, for example, it is recognized that the wheel or the wheel is combined with the autonomous moving body 11 based on the ratio of the vibration amount and the moving amount of the autonomous moving body 11.
- the rolling resistance becomes large. Therefore, it is recognized that the wheel or caterpillar is combined with the autonomous moving body 11 based on the detected value of the rolling resistance of the autonomous moving body 11.
- the recognition unit 251 recognizes the combination device by detecting the movement constraint of the autonomous mobile body 11 based on the sensor data from the sensor unit 202.
- combination devices may be recognized by combining the plurality of methods described above.
- the autonomous moving body 11 is on a wheel based on the vibration pattern of the autonomous moving body 11 detected by using the inertial sensor 121. Further, for example, by detecting the magnetic force of the magnet provided on the wheel with a magnetic sensor, it is possible to recognize that the autonomous moving body 11 is on the wheel.
- the time required for recognizing the wheel becomes long, but the wheel can be recognized even if the wheel is not correctly mounted.
- the recognition method using a magnetic sensor the time required for recognizing a wheel is shortened, but if the wheel is not correctly mounted, it becomes difficult to recognize the wheel. Therefore, by combining the two recognition methods, the shortcomings of both can be compensated for, and the wheel recognition accuracy and recognition speed are improved.
- step S2 the autonomous mobile body 11 changes the operation mode.
- the recognition unit 251 supplies data indicating the presence / absence and type of the combination device combined with the autonomous mobile body 11 to the action planning unit 252.
- the action planning unit 252 sets the operation mode to the normal mode when the combination device is not combined with the autonomous mobile body 11.
- the action planning unit 252 sets the operation mode based on, for example, the type of the combination device combined.
- the action planning unit 252 sets the operation mode to the cat mode when the cat's ear-shaped optional parts (hereinafter referred to as ear-shaped parts) are attached to the head of the autonomous moving body 11.
- the action planning unit 252 sets the operation mode to the vehicle mode when the autonomous mobile body 11 is in the vehicle.
- the action planning unit 252 sets the operation mode based on the combination, for example. Alternatively, the action planning unit 252 sets the operation mode based on the type of the combination device having the highest priority based on the priority of the combination device.
- the action planning unit 252 may set the operation mode based only on whether or not the combination devices are combined, regardless of the type of the combination devices.
- the action planning unit 252 supplies data indicating the set operation mode to the operation control unit 253 and the sound control unit 254.
- step S1 After that, the process returns to step S1, and the processes after step S1 are executed.
- step S51 the recognition unit 251 converts the sensor data into intermediate parameters.
- the sensor data of the acceleration sensor included in the inertial sensor 121 includes a component of gravitational acceleration. Therefore, when the operating sound is output using the sensor data of the acceleration sensor as it is, the operating sound is always output even if the autonomous moving body 11 is not moving.
- the sensor data of the acceleration sensor includes accelerations in the three axis directions of the x-axis, y-axis, and z-axis, components corresponding to vibration and noise are included in addition to the components corresponding to the movement of the autonomous moving body 11. .. Therefore, when the operating sound is output using the sensor data of the acceleration sensor as it is, the operating sound is output in response to vibration and noise in addition to the movement of the autonomous moving body 11.
- the recognition unit 251 converts the sensor data of each sensor included in the sensor unit 202 into intermediate parameters that can be understood by humans, corresponding to the situation of the autonomous mobile body 11 to which the operation sound is output.
- the recognition unit 251 acquires sensor data from each sensor included in the sensor unit 202, and performs arithmetic and logical calculations such as filter processing and threshold processing on each sensor data to perform arithmetic and logical calculations on each sensor data. To a given kind of intermediate parameter.
- FIG. 17 shows a specific example of the conversion method from the sensor data to the intermediate parameter.
- the recognition unit 251 acquires sensor data indicating the rotation speed of the motor 125D or the motor 125E of the autonomous mobile body 11 from the rotation sensor 401 included in the sensor unit 202.
- the recognition unit 251 calculates the amount of movement of the autonomous moving body 11 by calculating the odometry based on the rotation speed of the motor 125D or the motor 125E.
- the recognition unit 251 calculates the speed (hereinafter, referred to as translation speed) in the translation direction (front-back and left-right directions) of the autonomous moving body 11 based on the movement amount of the autonomous moving body 11.
- translation speed the speed in the translation direction (front-back and left-right directions) of the autonomous moving body 11 based on the movement amount of the autonomous moving body 11.
- the sensor data is converted into an intermediate parameter velocity (translational velocity).
- the recognition unit 251 includes an object (for example, a floor surface) on the bottom surface of the IR sensor 402 (not shown in FIGS. 2 to 9) included in the sensor unit 202 and provided on the bottom surface of the autonomous mobile body 11. Acquire sensor data indicating whether or not they are close to each other. Further, the recognition unit 251 acquires sensor data indicating the acceleration of the autonomous moving body 11 from the acceleration sensor 121A included in the inertial sensor 121. The recognition unit 251 recognizes whether or not the object is close to the bottom surface of the autonomous moving body 11 and whether or not the autonomous moving body 11 is lifted based on the acceleration of the autonomous moving body 11. As a result, the sensor data is converted into the presence / absence of lifting, which is an intermediate parameter.
- an object for example, a floor surface
- the recognition unit 251 acquires sensor data indicating the acceleration of the autonomous moving body 11 from the acceleration sensor 121A included in the inertial sensor 121.
- the recognition unit 251 recognizes whether or not the object is close to the bottom surface of
- the recognition unit 251 acquires sensor data indicating the acceleration of the autonomous moving body 11 from the acceleration sensor 121A. Further, the recognition unit 251 acquires sensor data indicating the angular velocity of the autonomous moving body 11 from the angular velocity sensor 121B included in the inertial sensor 121. The recognition unit 251 detects the amount of movement after the autonomous moving body 11 is lifted, based on the acceleration and the angular velocity of the autonomous moving body 11. This amount of movement indicates, for example, the amount of movement of the autonomous moving body 11 after it has been lifted. As a result, the sensor data is converted into the amount of movement after the autonomous moving body 11, which is an intermediate parameter, is lifted.
- the recognition unit 251 acquires sensor data indicating the angular velocity of the autonomous moving body 11 from the angular velocity sensor 121B.
- the recognition unit 251 detects the rotation (horizontal rotation) in the yaw direction about the vertical axis of the autonomous moving body based on the angular velocity of the autonomous moving body 11.
- the sensor data is converted into the lateral rotation of the autonomous mobile body 11, which is an intermediate parameter.
- the recognition unit 251 receives sensor data indicating whether or not there is contact with the autonomous mobile body 11 from a touch sensor 403 included in the sensor unit 202 and provided at one or more locations that are likely to be touched by the user. get.
- the touch sensor 403 is composed of, for example, a capacitance type or pressure sensitive type touch sensor.
- the recognition unit 251 recognizes a contact action such as touching, stroking, hitting, or pushing the user based on the presence or absence of contact with the autonomous moving body 11. As a result, the sensor data is converted into the presence / absence of contact with the autonomous moving body 11, which is an intermediate parameter.
- step S52 the sound control unit 254 generates an operation sound based on the intermediate parameters and the operation mode.
- the sound control unit 254 when the speed of the autonomous moving body 11 is equal to or higher than a predetermined threshold value, the sound control unit 254 generates a translation sound which is an operation sound corresponding to the translation of the autonomous moving body 11. At this time, the sound control unit 254 uses, for example, the pitch (for example, frequency), volume, and timbre (for example, frequency component, modulation degree, etc.) of the translated sound based on the speed of the autonomous moving body 11, the operation mode, and the like. , Change some of the parameters such as speed.
- the pitch for example, frequency
- volume volume
- timbre for example, frequency component, modulation degree, etc.
- a continuous sound corresponding to the speed of the autonomous moving body 11 and a sound imitating the rotation sound of the wheels is generated as a translation sound.
- the pitch changes according to the speed of the autonomous moving body 11, and a sound imitating the running sound of the car is generated as a translation sound.
- the sound control unit 254 when the autonomous moving body 11 is lifted, the sound control unit 254 generates a lifting sound which is an operation sound corresponding to the lifting of the autonomous moving body 11. At this time, the sound control unit 254 has, for example, among parameters such as pitch, volume, timbre, and speed of the lifting sound, based on the change in the amount of movement after the autonomous moving body 11 is lifted and the operation mode. Change some of them.
- the operation mode when the operation mode is set to the normal mode, a sound that surprises a person is generated as a lifting sound.
- a sound containing a low component that makes the cat angry is generated as a lifting sound.
- the lifting sound is not generated and is not output.
- the sound control unit 254 when the rotation speed of the lateral rotation of the autonomous moving body 11 is equal to or higher than a predetermined threshold value, the sound control unit 254 generates a rotating sound which is an operation sound corresponding to the lateral rotation of the autonomous moving body 11. At this time, the sound control unit 254 has a number of parameters such as pitch, volume, timbre, and speed of the rotating sound based on, for example, a change in the lateral rotation speed of the autonomous moving body 11 and an operation mode. To change.
- the pitch changes according to the rotation speed of the autonomous moving body 11, and a rotating sound having a tone different from that in the normal mode is generated.
- the pitch changes according to the rotation speed of the autonomous moving body 11, and a rotating sound having a tone different from that in the normal mode and the cat mode is generated.
- a translational sound that imitates the rotating sound of a motor is generated.
- the sound control unit 254 when the sound control unit 254 recognizes the contact action with the autonomous moving body 11, the sound control unit 254 generates a contact sound which is an operation sound indicating the reaction of the autonomous moving body 11 to the contact action. At this time, the sound control unit 254 determines the pitch, volume, timbre, speed, etc. of the contact sound based on, for example, the type, duration, and strength of the contact action with the autonomous mobile body 11, and the operation mode. Change some of the parameters.
- the operation mode when the operation mode is set to the cat mode, a sound imitating the barking of a cat is generated as a contact sound.
- the contact sound is not generated and is not output.
- the content of the operating sound is set to the content corresponding to the type of combination device.
- step S53 the autonomous mobile body 11 outputs an operation sound.
- the sound control unit 254 generates output sound data for outputting the generated operation sound and supplies it to the sound output unit 205.
- the sound output unit 205 outputs an operating sound based on the acquired output sound data.
- the sound control unit 254 starts recognizing the situation of the autonomous mobile body 11 (for example, the movement of the autonomous mobile body 11 or the stimulus to the autonomous mobile body 11) as a trigger for outputting the output sound.
- the reaction speed of the operation sound of is made faster than the reaction speed of the operation sound when the recognition of the situation is completed.
- the sound control unit 254 controls the output of the operating sound so that the operating sound quickly rises at the start of the recognition of the situation and the operating sound gradually stops at the end of the recognition of the situation.
- FIG. 18A is a graph showing the waveform of the sensor data of the touch sensor 403.
- the horizontal axis shows the time, and the vertical axis shows the value of the sensor data.
- FIG. 18B is a graph showing the waveform of the contact sound.
- the horizontal axis shows the time, and the vertical axis shows the volume of the contact sound.
- the touch sensor 403 starts outputting the sensor data.
- the recognition unit 251 starts recognizing the contact action.
- the sound control unit 254 sharply raises the contact sound. That is, the sound control unit 254 starts the output of the contact sound substantially at the same time as the start of the recognition of the contact action, and sharply increases the volume of the contact sound.
- the touch sensor 403 stops outputting the sensor data.
- the recognition unit 251 finishes recognizing the contact action.
- the sound control unit 254 gently stops the contact sound. That is, after the recognition of the contact action is completed, the sound control unit 254 gradually reduces the volume of the contact sound and continues the output of the contact sound for a while.
- a more natural contact sound will be output.
- the contact sound is output almost at the same time, so that even if the user's contact action is for a short period of time, the output of the contact sound is prevented from being unnaturally started after the contact action is completed. Will be done.
- the afterglow of the contact sound remains after the end of the contact action of the user, and the contact sound is prevented from stopping unnaturally and suddenly.
- the translation sound may be controlled in the same manner as the contact sound. For example, approximately at the same time when the recognition of the translational movement of the autonomous moving body 11 is started, the translational sound rises sharply, and when the recognition of the translational movement of the autonomous moving body 11 is completed, the translational sound is gradually stopped. It may be done.
- This process starts when the power of the autonomous mobile body 11 is turned on, and ends when the power of the autonomous mobile body 11 is turned off, for example.
- step S101 the recognition unit 251 detects the rotation speed r of the motor. Specifically, the recognition unit 251 acquires sensor data indicating the rotation speed of the motor 125D or the motor 125E of the autonomous moving body 11 from the rotation sensor 401 included in the sensor unit 202. The recognition unit 251 detects the rotation speed r of the motor 125D or the motor 125E based on the acquired sensor data.
- step S102 the recognition unit 251 determines whether or not the rotation speed r> the threshold value Rth.
- the rotation speed r is substantially proportional to the translation speed of the autonomous moving body 11, no translation sound is output when the translation speed of the autonomous moving body 11 is equal to or less than a predetermined threshold value.
- step S102 the processes of steps S101 and S102 are repeatedly executed until it is determined that the rotation speed r> the threshold value Rth.
- step S102 determines whether the rotation speed r> the threshold value Rth, that is, if the translation speed of the autonomous moving body 11 exceeds a predetermined threshold value.
- step S103 the recognition unit 251 sets the rotation speed r-threshold value Rth in the variable v.
- the variable v is proportional to the rotation speed r and substantially proportional to the translation speed of the autonomous mobile body 11.
- the recognition unit 251 supplies data indicating the variable v to the sound control unit 254.
- step S104 the sound control unit 254 sets the volume of the translation sound to min (A * v, VOLmax).
- A is a predetermined coefficient.
- the volume VOLmax is the maximum volume of the translational sound.
- the volume of the translation sound is set to a volume substantially proportional to the translation speed of the autonomous moving body 11 within the range of the maximum volume VOLmax or less.
- step S105 the sound control unit 254 sets the frequency of the translation sound to min (f0 * exp (B * v), FQmax).
- B is a predetermined coefficient.
- the frequency FQmax is the maximum frequency of the translational sound.
- the frequency of sound that is comfortable for humans is in the range of about 200 to 2000 Hz. Further, the resolution of human sound becomes finer as the frequency becomes lower, and becomes coarser as the frequency becomes higher. Therefore, the frequency (pitch) of the translation sound is set to change exponentially with respect to the translation speed of the autonomous mobile body 11 within the range of the maximum frequency FQmax (for example, 2000 Hz) or less.
- step S106 the autonomous mobile body 11 outputs a translation sound.
- the sound control unit 254 generates output sound data for outputting a translational sound of a set volume and frequency, and supplies the output sound data to the sound output unit 205.
- the sound output unit 205 outputs a translation sound based on the acquired output sound data.
- step S101 After that, the process returns to step S101, and the processes after step S101 are executed.
- the translation sound is not output as shown in A of FIG.
- the translation speed of the autonomous moving body 11 exceeds a predetermined threshold value, as shown in B and C of FIG. 20, the higher the translation speed, the higher the frequency (pitch) of the translation sound and the amplitude (volume). Becomes larger.
- This process starts when the power of the autonomous mobile body 11 is turned on, and ends when the power of the autonomous mobile body 11 is turned off, for example.
- step S151 the rotation speed r of the motor is detected as in the process of step S101 of FIG.
- step S152 it is determined whether or not the rotation speed r> the threshold value Rth, as in the process of step S102 in FIG. If it is determined that the rotation speed r> the threshold value Rth, the process proceeds to step S153.
- step S153 the recognition unit 251 adds the rotation speed r to the movement amount ⁇ d.
- the movement amount ⁇ d represents the integrated value of the rotation speed of the motor since the autonomous moving body 11 starts moving in the translation direction, or the rotation speed of the motor since the previous translation sound was output, and the movement amount ⁇ d represents the autonomous moving body 11. Is approximately proportional to the amount of movement in the translational direction of.
- step S154 the recognition unit 251 determines whether or not the movement amount ⁇ d> threshold value Dth.
- the translation sound is not output and the process returns to step S151. That is, when the amount of movement in the translation direction after the autonomous moving body 11 starts moving in the translation direction or the amount of movement in the translation direction since the previous output of the translation sound is equal to or less than a predetermined threshold value, the translation sound. Is not output.
- steps S151 to S154 are repeatedly executed until it is determined in step S152 that the rotation speed r ⁇ the threshold value Rth or that the movement amount ⁇ d> the threshold value Dth is determined in step S154. ..
- step S154 when it is determined in step S154 that the movement amount ⁇ d> the threshold value Dth, that is, the movement amount in the translation direction after the autonomous moving body 11 starts moving in the translation direction, or the previous translation sound is output. If the amount of movement in the translational direction after that exceeds a predetermined threshold value, the process proceeds to step S155.
- step S155 the rotation speed r-threshold value Rth is set in the variable v as in the process of step S103 of FIG.
- step S156 the sound control unit 254 sets the volume of the translation sound to min (C * v, VOLmax).
- C is a predetermined coefficient.
- the volume of the translation sound is set to a volume substantially proportional to the translation speed of the autonomous moving body 11 within the range of the maximum volume VOLmax or less.
- the coefficient C is set to a value smaller than the coefficient A used in the process of step S104 of FIG. 19, for example. Therefore, in the case of the cat mode, the amount of change in the volume of the translation sound with respect to the translation speed of the autonomous moving body 11 is smaller than in the case of the normal mode.
- step S157 the sound control unit 254 sets the overtone component according to the variable v. Specifically, the sound control unit 254 sets the overtone component of the translation sound so that the overtone component increases as the variable v increases, that is, as the translation speed of the autonomous mobile body 11 increases.
- step S158 the autonomous mobile body 11 outputs a translation sound.
- the sound control unit 254 generates output sound data for outputting a translational sound including a set harmonic component at a set volume, and supplies the output sound data to the sound output unit 205.
- the sound output unit 205 outputs a translation sound based on the acquired output sound data.
- step S152 when it is determined that the rotation speed r ⁇ the threshold value Rth, that is, when the translation speed of the autonomous moving body 11 is equal to or less than a predetermined threshold value, the processes of steps S153 to S158 are skipped and processed. Proceeds to step S159.
- step S159 the recognition unit 251 sets the movement amount ⁇ d to 0. That is, after the translation sound is output, or when the translation speed of the autonomous moving body 11 becomes equal to or less than a predetermined threshold value, the movement amount ⁇ d is reset to 0.
- step S151 After that, the process returns to step S151, and the processes after step S151 are executed.
- the translation sound is not output as shown in A of FIG. 22.
- the translation speed of the autonomous moving body 11 exceeds a predetermined threshold value, as shown in B and C of FIG. 22, translation sounds are intermittently output with a period of silence. Further, as the speed increases, the overtone components of the translation sound increase, and the output timing of the translation sound becomes denser.
- the translation sound control method is changed depending on whether or not the ear-shaped parts are attached to the autonomous moving body 11.
- the content of the operating sound is changed to a sound that imitates the operating sound of a cat.
- the translation sound is not continuously output, but is intermittently output like the footsteps of a cat.
- the actual cat kicks the ground more strongly as the moving speed increases, and the footsteps become harder. Therefore, as the translation speed of the autonomous mobile body 11 increases, the overtone component of the translation sound increases so that the sound becomes harder.
- the user can strongly feel that the character of the autonomous moving body 11 changes depending on whether or not the ear-shaped parts are attached to the autonomous moving body 11, and the satisfaction of the user is improved.
- the timbre of the translational sound may be set to, for example, a variable v, an integral multiple of the variable v, or a value obtained by applying an exponential function to the variable v to a timbre applied to a predetermined filter.
- a sound having a predetermined waveform may be created or recorded, and the pitch or volume may be dynamically changed based on the variable v to generate a translation sound.
- translational sounds having a plurality of waveforms may be created or recorded, and the sounds to be used may be switched based on the variable v.
- two types of sounds, a soft ground kicking sound and a strong ground kicking sound are created in advance, and a translational sound is generated by changing the ratio of synthesizing those sounds based on the variable v. May be good.
- the rotation sound may be controlled in the same manner as the translation sound. For example, when the absolute value a of the angular velocity detected by the angular velocity sensor 121B exceeds a predetermined threshold value Ath, a rotation sound is output, and the variable v is set to the absolute value a-threshold value Ath of the angular velocity. , May be used for controlling the rotating sound.
- the lifting sound may be controlled in the same manner as the translation sound and the rotating sound.
- the lifting sound is modulated so as to represent the intensity of lifting of the autonomous moving body 11 based on the difference between the frames of the acceleration detected by the acceleration sensor 121A.
- the recognition characteristics such as the recognition speed and the recognition accuracy may differ depending on the characteristics of each sensor.
- the lifting of the autonomous moving body 11 is recognized by using the IR sensor 402 and the acceleration sensor 121A. Then, as will be described later, there is a difference in the recognition characteristics of the lifting of the autonomous moving body 11 between the case where the IR sensor 402 is used and the case where the acceleration sensor 121A is used.
- This process starts when the power of the autonomous mobile body 11 is turned on, and ends when the power of the autonomous mobile body 11 is turned off, for example.
- step S201 the recognition unit 251 determines whether or not the lift is recognized by the acceleration sensor 121A. If the recognition unit 251 does not recognize the lift of the autonomous moving body 11 based on the sensor data from the acceleration sensor 121A, the recognition unit 251 determines that the lift is not recognized by the acceleration sensor 121A, and the process proceeds to step S202.
- step S202 the recognition unit 251 determines whether or not the lift is recognized by the IR sensor 402. If the recognition unit 251 does not recognize the lift of the autonomous moving body 11 based on the sensor data from the IR sensor 402, the recognition unit 251 determines that the lift is not recognized by the IR sensor 402, and the process returns to step S201.
- steps S201 and S202 are repeatedly executed until it is determined in step S201 that the acceleration sensor 121A has recognized the lift or in step S202 it is determined that the IR sensor 402 has recognized the lift. ..
- step S202 when the recognition unit 251 recognizes the lift of the autonomous moving body 11 based on the sensor data from the IR sensor 402, it determines that the lift is recognized by the IR sensor 402, and the process proceeds to step S203. move on.
- the recognition accuracy is high regardless of how the autonomous moving body 11 is lifted.
- the acceleration sensor 121A the recognition accuracy when the autonomous moving body 11 is quickly lifted is high, but the recognition accuracy when the autonomous moving body 11 is slowly lifted is low. Further, when the acceleration sensor 121A is used, it is difficult to distinguish the lifting of the autonomous moving body 11 from other movements.
- the IR sensor 402 generally has a lower sampling rate than the acceleration sensor 121A. Therefore, when the IR sensor 402 is used, the recognition speed (reaction speed) of lifting the autonomous moving body 11 may be slower than when the acceleration sensor 121A is used.
- step S203 the process proceeds to step S203 when the IR sensor 402 recognizes the lifting of the autonomous moving body 11 before the acceleration sensor 121A. For example, it is assumed that the autonomous moving body 11 is slowly lifted. NS.
- step S203 the autonomous mobile body 11 outputs a predetermined lifting sound.
- the recognition unit 251 notifies the sound control unit 254 that the autonomous moving body 11 has been lifted.
- the sound control unit 254 generates output sound data for outputting a predetermined pitch, volume, timbre, and speed lifting sound, and supplies the output sound data to the sound output unit 205.
- the sound output unit 205 outputs a lifting sound based on the acquired output sound data.
- the amount of movement after the autonomous moving body 11 is lifted is detected by using the acceleration sensor 121A and the angular velocity sensor 121B.
- the IR sensor 402 cannot detect the amount of movement after the autonomous moving body 11 is lifted. Therefore, when the IR sensor 402 recognizes the lifting of the autonomous moving body 11 before the acceleration sensor 121A, it is difficult to detect the amount of movement after the autonomous moving body 11 is lifted.
- step S201 when the recognition unit 251 recognizes the lift of the autonomous moving body 11 based on the sensor data from the acceleration sensor 121A, it determines that the lift is recognized by the acceleration sensor 121A, and steps S202 and S203. The process of is skipped, and the process proceeds to step S204.
- acceleration sensor 121A recognizes the lifting of the autonomous moving body 11 prior to or substantially at the same time as the IR sensor 402, and it is assumed that the autonomous moving body 11 is quickly lifted, for example.
- step S204 the autonomous mobile body 11 outputs a lifting sound according to the lifting method.
- the recognition unit 251 detects the amount of movement after the autonomous moving body 11 is lifted, based on the sensor data from the acceleration sensor 121A and the angular velocity sensor 121B. The recognition unit 251 supplies data indicating the detected movement amount to the sound control unit 254.
- the sound control unit 254 generates a lifting sound.
- the sound control unit 254 has, for example, among parameters such as pitch, volume, timbre, and speed of the lifting sound, based on the change in the amount of movement after the autonomous moving body 11 is lifted, the operation mode, and the like. Change some of them.
- the parameter of the lifting sound is set so that the connection with the fixed lifting sound becomes natural.
- the sound control unit 254 generates output sound data for outputting the generated lifting sound and supplies it to the sound output unit 205.
- the sound output unit 205 outputs a lifting sound based on the acquired output sound data.
- step S201 After that, the process returns to step S201, and the processes after step S201 are executed.
- the lifting sound is quickly output regardless of how the autonomous moving body 11 is lifted.
- a lifting sound is output according to how the autonomous moving body 11 is lifted.
- the operation sound of the appropriate content is output at the appropriate timing according to the situation of the autonomous mobile body 11, especially according to the combination with the combination device.
- the responsiveness of the operating sound of the autonomous mobile body 11 and the range of expression are widened. As a result, the user experience due to the operating sound of the autonomous mobile body 11 is improved.
- the above-mentioned type of operation sound, type of combination device, and control method of operation sound are examples thereof, and can be changed arbitrarily.
- the autonomous mobile body 11 gets on the robot type vacuum cleaner, it may output an operation sound as if it were cleaning.
- the user may be able to set the control method of the output sound when the autonomous mobile body 11 is combined with each combination device.
- the autonomous mobile body 11 may set the output sound control method based on the combination device and other conditions.
- the output sound control method may be set according to conditions such as time (for example, time zone, season, etc.), location, and the like.
- another autonomous mobile body for example, a robot or the like
- another combination device for example, not the autonomous mobile body 11 alone but the entire newly constructed autonomous mobile body. Then, the output sound may be controlled.
- the output sound control method may be changed.
- the autonomous mobile body 11 and the combination device come into contact with each other, but also when they are not in contact with each other, it may be recognized that the two are combined and the output sound control method may be changed.
- the autonomous mobile body 11 and another combination device such as a robot come close to each other, it may be recognized that the autonomous mobile body 11 and the combination device are combined, and the output sound control method may be changed. ..
- the approach of another combination device is recognized based on the images captured by the camera 102L and the camera 102R.
- the image when the combination device is present in the blind spot of the autonomous moving body 11, the autonomous moving body 11 cannot recognize the approach of the combination device.
- the approach of the combination device may be recognized by further using short-range wireless communication.
- the output sound control method may be changed.
- the autonomous mobile body 11 can greet the user and output a beautiful output sound.
- the autonomous mobile body 11 recognizes the user himself / herself regardless of the presence / absence of the combination device by using the image captured by the camera 102L and the camera 102R, the motion sensor, etc.
- the sound control method may be set.
- the output sound control method may be changed according to the change in the shape of the autonomous mobile body 11.
- the control method of the output sound may be changed so as to output the output sound corresponding to the organism or character having a shape close to the deformed shape of the autonomous moving body 11.
- the control method of the output sound of the electronic device may be changed.
- the smartphone when the smartphone is attached to the wheel and is moved by the wheel, the smartphone may output an operation sound corresponding to the rotation of the wheels of the wheel.
- the sensor of the combination device may be used to recognize the situation of the autonomous mobile body 11.
- the information processing server 12 can receive sensor data from the autonomous mobile body 11 and control the output sound of the autonomous mobile body 11 based on the received sensor data. Further, when the information processing server 12 controls the output sound of the autonomous moving body 11, the information processing server 12 may generate the output sound, or the autonomous moving body 11 controls the information processing server 12. The output sound may be generated below.
- FIG. 24 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
- the CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- An input / output interface 1005 is further connected to the bus 1004.
- An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
- the input unit 1006 includes an input switch, a button, a microphone, an image sensor, and the like.
- the output unit 1007 includes a display, a speaker, and the like.
- the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
- the communication unit 1009 includes a network interface and the like.
- the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 1001 loads and executes the program recorded in the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, as described above. A series of processing is performed.
- the program executed by the computer 1000 can be recorded and provided on the removable media 1011 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
- the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the recording unit 1008.
- the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
- the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
- this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
- each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
- one step includes a plurality of processes
- the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
- the present technology can also have the following configurations.
- a recognition unit that recognizes a combination device that is a device that is combined with its own device
- An autonomous mobile body including a sound control unit that changes the control method of the output sound output from the own device based on the recognition result of the combination device and controls the output sound based on the changed control method. ..
- the recognition unit further recognizes the situation of the own device and further recognizes the situation of the own device.
- the sound control unit makes the reaction speed of the output sound when the recognition of the predetermined situation is started faster than the reaction speed of the output sound when the recognition of the predetermined situation is finished.
- the sound control unit quickly starts up the output sound when the recognition of the predetermined situation is started, and gently stops the output sound when the recognition of the predetermined situation is completed.
- Autonomous mobile body (5) The autonomous mobile body according to (3) or (4) above, wherein the predetermined situation is a movement of the own device or a stimulus to the own device.
- the recognition unit recognizes the situation of the own device by using a plurality of types of sensors, respectively.
- the autonomous movement according to any one of (2) to (5) above, wherein the sound control unit changes the control method of the output sound based on the type of the sensor used for recognizing the situation of the own device. body.
- the sound control unit changes at least one of the content of the output sound to be generated and the output timing of the output sound based on the recognition result of the combination device. Any of the above (1) to (7).
- Autonomous mobile body described in Crab. (9) The autonomous mobile body according to (8), wherein the sound control unit changes the content of the output sound to a content corresponding to the type of the combination device combined with the own device. (10) The autonomous mobile body according to (8) or (9) above, wherein the sound control unit changes at least one of the pitch, volume, timbre, and speed of the output sound.
- the output sound is described in any one of (1) to (11) above, which includes a sound output in response to the movement of the own device or a sound output in response to a stimulus to the own device.
- the recognition unit recognizes the combination device based on sensor data from one or more types of sensors.
- the combination device includes at least one of a part that can be attached to and detached from the own device, a device that can be attached to and detached from the own device, and a moving body on which the own device can ride.
- the autonomous mobile body described in any of.
- a program for causing a computer to execute a process for controlling the output sound based on the modified control method (18)
- a recognition unit that recognizes a combination device that is a device that is combined with an autonomous mobile body, Information processing including a sound control unit that changes the control method of the output sound output from the autonomous mobile body based on the recognition result of the combination device and controls the output sound based on the changed control method.
- Information processing including a sound control unit that changes the control method of the output sound output from the autonomous mobile body based on the recognition result of the combination device and controls the output sound based on the changed control method.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Toys (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本技術は、自律移動体の出力音によるユーザ体験を向上させることができるようにする自律移動体、情報処理方法、プログラム、及び、情報処理装置に関する。 自律移動体は、自装置と組み合わされている機器である組合せ機器の認識を行う認識部と、前記組合せ機器の認識結果に基づいて、前記自装置から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う音制御部とを備える。本技術は、例えば、ロボットに適用することができる。
Description
本技術は、自律移動体、情報処理方法、プログラム、及び、情報処理装置に関し、特に、自律移動体の出力音によるユーザ体験を向上させるようにした自律移動体、情報処理方法、プログラム、及び、情報処理装置に関する。
従来、ユーザの働きかけに応じてロボットの感情の状態を決定し、ロボットに装着されている外装ユニットに応じたパフォーマンス情報の中から、決定した感情に応じた行動内容及び音声内容を選択し、選択した行動内容及び音声内容でロボットを自律的に動作させることが提案されている(例えば、特許文献1参照)。
しかしながら、特許文献1に記載の発明では、ロボットに装着された外装ユニットに応じて、予め登録されている固定音が切り替えられるのみであり、変化に乏しい。
本技術は、このような状況に鑑みてなされたものであり、ロボット等の自律移動体の出力音によるユーザ体験を向上させるようにするものである。
本技術の一側面の自律移動体は、自装置と組み合わされている機器である組合せ機器の認識を行う認識部と、前記組合せ機器の認識結果に基づいて、前記自装置から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う音制御部とを備える。
本技術の一側面の情報処理方法は、自律移動体と組み合わされている機器である組合せ機器の認識を行い、前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う。
本技術の一側面のプログラムは、自律移動体と組み合わされている機器である組合せ機器の認識を行い、前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う。
本技術の一側面の情報処理装置は、自律移動体と組み合わされている機器である組合せ機器の認識を行う認識部と、前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う音制御部とを備える。
本技術の一側面によれば、自律移動体と組み合わされている機器である組合せ機器の認識が行われ、前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法が変更され、変更された前記制御方法に基づいて、前記出力音の制御が行われる。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.実施の形態
2.変形例
3.その他
1.実施の形態
2.変形例
3.その他
<<1.実施の形態>>
図1乃至図23を参照して、本技術の実施の形態について説明する。
図1乃至図23を参照して、本技術の実施の形態について説明する。
<情報処理システム1の構成例>
図1は、本技術を適用した情報処理システム1の一実施の形態を示している。
図1は、本技術を適用した情報処理システム1の一実施の形態を示している。
情報処理システム1は、自律移動体11、情報処理サーバ12、及び、被操作装置13を備える。自律移動体11、情報処理サーバ12、及び、被操作装置13は、ネットワーク14を介して接続されている。
自律移動体11は、情報処理サーバ12の制御によらずに、又は、情報処理サーバ12の制御により、自律動作を行う情報処理装置である。例えば、自律移動体11は、走行型、歩行型、飛行型、遊泳型などの種々のロボットにより構成される。
また、自律移動体11は、ユーザとのコミュニケーションをより自然かつ効果的に実現することを可能とするエージェント装置である。自律移動体11は、ユーザとのコミュニケーションを誘因する種々の動作(以下、誘因動作とも称する)を能動的に実行することを特徴の一つとする。
例えば、自律移動体11は、環境認識に基づいて、ユーザに対し能動的な情報提示を行うことが可能である。また、例えば、自律移動体11は、ユーザに所定の行動を促す種々の誘因動作を能動的に実行する。
また、自律移動体11による誘因動作は、物理空間に対する能動的かつ積極的な干渉であるといえる。自律移動体11は、物理空間において移動を行い、ユーザや生物、物品などに対して種々の物理的動作を実行することが可能である。自律移動体11が有する上記の特徴によれば、ユーザは視覚、聴覚、及び、触覚を通じて自律移動体の動作を包括的に認知することができ、単に音声を用いてユーザとの対話を行う場合などと比べ、高度なコミュニケーションを実現することができる。
さらに、自律移動体11は、出力音を出力することにより、自身の状態を表現したり、ユーザや他の自律移動体とコミュニケーションをとったりすることが可能である。自律移動体11の出力音は、自律移動体11の状況に対応して出力される動作音、及び、ユーザや他の自律移動体等とコミュニケーションをとるための発話音を含む。
動作音は、自律移動体11の動きに対応して出力される音、及び、自律移動体11への刺激に対応して出力される音を含む。自律移動体11の動きに対応して出力される音は、自律移動体11が能動的に動く場合に出力される音だけでなく、自律移動体11が受動的に動かされた場合に出力される音も含む。自律移動体11への刺激は、例えば、自律移動体11の五感(視覚、聴覚、嗅覚、味覚、触覚)のいずれかに対する刺激である。なお、自律移動体11は、必ずしも五感の全ての間隔を認識できるとは限らない。
発話音は、必ずしも人間が理解できる言語を表す音声である必要はなく、例えば、動物の鳴き声等を模した非言語を表す音声であってもよい。
情報処理サーバ12は、自律移動体11の動作を制御する情報処理装置である。例えば、情報処理サーバ12は、自律移動体11に、ユーザとのコミュニケーションを誘因する種々の誘因動作を実行させる機能を備える。
被操作装置13は、自律移動体11及び情報処理サーバ12により操作される種々の装置である。自律移動体11は、情報処理サーバ12の制御によらずに、又は、情報処理サーバ12の制御により、種々の被操作装置13を操作することが可能である。被操作装置13は、例えば、照明装置、ゲーム機器、テレビジョン装置等の家電機器により構成される。
ネットワーク14は、情報処理システム1が備える各構成を接続する機能を備える。例えば、ネットワーク14は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)等を含んでもよい。例えば、ネットワーク14は、IP-VPN(Internet Protocol-Virtual Private Network)等の専用回線網を含んでもよい。例えば、ネットワーク14は、Wi-Fi(登録商標)、Bluetooth(登録商標)等の無線通信網を含んでもよい。
<自律移動体11の構成例>
次に、図2乃至図13を参照して、自律移動体11の構成例について説明する。自律移動体11は、環境認識に基づく自律動作を行う種々の装置であり得る。以下においては、自律移動体11が車輪による自律走行を行う長楕円体のエージェント型のロボット装置である場合を例に説明する。自律移動体11は、例えば、ユーザ、周囲、及び、自身の状況に応じた自律動作を行うことで、情報提示を含む種々のコミュニケーションを実現する。自律移動体11は、例えば、ユーザが片手で容易に持ち上げられる程度の大きさ及び重量を有する小型ロボットとされる。
次に、図2乃至図13を参照して、自律移動体11の構成例について説明する。自律移動体11は、環境認識に基づく自律動作を行う種々の装置であり得る。以下においては、自律移動体11が車輪による自律走行を行う長楕円体のエージェント型のロボット装置である場合を例に説明する。自律移動体11は、例えば、ユーザ、周囲、及び、自身の状況に応じた自律動作を行うことで、情報提示を含む種々のコミュニケーションを実現する。自律移動体11は、例えば、ユーザが片手で容易に持ち上げられる程度の大きさ及び重量を有する小型ロボットとされる。
<自律移動体11の外装の例>
まず、図2乃至図7を参照して、自律移動体11の外装の例について説明する。
まず、図2乃至図7を参照して、自律移動体11の外装の例について説明する。
図2は、自律移動体11の正面図であり、図3は、自律移動体11の背面図である。図4のA及びBは、自律移動体11の斜視図である。図5は、自律移動体11の側面図である。図6は、自律移動体11の上面図である。図7は、自律移動体11の底面図である。
図2乃至図6に示されるように、自律移動体11は、本体上部に左眼及び右眼に相当する眼部101L及び眼部101Rを備える。眼部101L及び眼部101Rは、例えば、LEDなどにより実現され、視線や瞬きなどを表現することができる。なお、眼部101L及び眼部101Rは、上記の例に限定されず、例えば、単一または独立した2つのOLED(Organic Light Emitting Diode)などにより実現されてもよい。
また、自律移動体11は、眼部101L及び眼部101Rの上方にカメラ102L及びカメラ102Rを備える。カメラ102L及びカメラ102Rは、ユーザや周囲環境を撮像する機能を有する。その際、自律移動体11は、カメラ102L及びカメラ102Rにより撮像された画像に基づいて、SLAM(Simultaneous Localization and Mapping)を実現してもよい。
なお、眼部101L、眼部101R、カメラ102L、及び、カメラ102Rは、外装表面の内部に配置される基板(不図示)上に配置される。また、自律移動体11の外装表面は、基本的に不透明な素材を用いて形成されるが、眼部101L、眼部101R、カメラ102L、及び、カメラ102Rが配置される基板に対応する部分には、透明又は半透明素材を用いた頭部カバー104が設けられる。これにより、ユーザは、自律移動体11の眼部101L及び眼部101Rを認識することができ、自律移動体11は、外界を撮像することができる。
また、図2、図4、及び、図7に示すように、自律移動体11は、正面下部にToF(Time of Flight)センサ103を備える。ToFセンサ103は、前方に存在する物体との距離を検出する機能を備える。自律移動体11は、ToFセンサ103により、例えば、種々の物体との距離を精度高く検出したり、段差等を検出して、落下や転倒を防止したりすることができる。
また、図3、図5などに示すように、自律移動体11は、背面に外部装置の接続端子105及び電源スイッチ106を備える。自律移動体11は、例えば、接続端子105を介して外部装置と接続し、情報通信を行うことができる。
また、図7に示すように、自律移動体11は、底面に車輪107L及び車輪107Rを備える。車輪107L及び車輪107Rは、それぞれ異なるモータ(不図示)により駆動される。これにより、自律移動体11は、前進、後退、旋回、回転などの移動動作を実現することができる。
また、車輪107L及び車輪107Rは、本体内部への格納、及び、外部への突出が可能である。例えば、自律移動体11は、車輪107L及び車輪107Rを勢いよく外部へと突出させることでジャンプ動作を行うことが可能である。なお、図7には、車輪107L及び車輪107Rが本体内部へ格納された状態が示されている。
なお、以下、眼部101L及び眼部101Rを個々に区別する必要がない場合、単に眼部101と称する。以下、カメラ102L及びカメラ102Rを個々に区別する必要がない場合、単にカメラ102と称する。以下、車輪107L及び車輪107Rを個々に区別する必要がない場合、単に車輪107と称する。
<自律移動体11の内部構造の例>
図8及び図9は、自律移動体11の内部構造を示す模式図である。
図8及び図9は、自律移動体11の内部構造を示す模式図である。
図8に示されるように、自律移動体11は、電子基板上に配置される慣性センサ121及び通信装置122を備える。慣性センサ121は、自律移動体11の加速度や角速度を検出する。また、通信装置122は、外部との無線通信を実現するための構成であり、例えば、BluetoothやWi-Fiアンテナ等を含む。
また、自律移動体11は、例えば、本体側面の内部にスピーカ123を備える。自律移動体11は、スピーカ123により、種々の音を出力することができる。
また、図9に示されるように、自律移動体11は、本体上部の内側にマイクロフォン124L、マイクロフォン124M、及び、マイクロフォン124Rを備える。マイクロフォン124L、マイクロフォン124M、及び、マイクロフォン124Rは、ユーザの発話や、周囲の環境音を収集する。また、自律移動体11は、複数のマイクロフォン124L、マイクロフォン124M、及び、マイクロフォン124Rを備えることで、周囲で発生する音を感度高く収集するとともに、音源の位置を検出することができる。
また、自律移動体11は、図8及び図9に示されるように、モータ125A乃至モータ125E(ただし、モータ125Eは不図示)を備える。モータ125A及びモータ125Bは、例えば、眼部101及びカメラ102が配置される基板を垂直方向および水平方向に駆動する。モータ125Cは、自律移動体11の前傾姿勢を実現する。モータ125Dは、車輪107Lを駆動する。モータ125Eは、車輪107Rを駆動する。自律移動体11は、モータ125A乃至モータ125Eにより、豊かな動作を表現することができる。
なお、以下、マイクロフォン124L乃至マイクロフォン124Rを個々に区別する必要がない場合、単にマイクロフォン124と称する。以下、モータ125A乃至モータ125Eを個々に区別する必要がない場合、単にモータ125と称する。
<自律移動体11の機能の構成例>
図10は、自律移動体11の機能の構成例を示している。自律移動体11は、制御部201、センサ部202、入力部203、光源204、音出力部205、駆動部206、及び、通信部207を備える。
図10は、自律移動体11の機能の構成例を示している。自律移動体11は、制御部201、センサ部202、入力部203、光源204、音出力部205、駆動部206、及び、通信部207を備える。
制御部201は、自律移動体11が備える各構成を制御する機能を備える。制御部201は、例えば、各構成の起動や停止を制御する。また、制御部201は、情報処理サーバ12から受信した制御信号等を、光源204、音出力部205、及び、駆動部206に供給する。
センサ部202は、ユーザや周囲の状況に関する種々のデータを収集する機能を備える。例えば、センサ部202は、上述したカメラ102、ToFセンサ103、慣性センサ121、マイクロフォン124等を備える。また、センサ部202は、上記のセンサの他に、例えば、地磁気センサ、タッチセンサ、IR(赤外線)センサ等を含む種々の光センサ、温度センサ、湿度センサ等の様々なセンサを備えていてもよい。センサ部202は、各センサから出力されるセンサデータを制御部201に供給する。
入力部203は、例えば、上述した電源スイッチ106等のボタンやスイッチ等を備え、ユーザによる物理的な入力操作を検出する。
光源204は、例えば、上述した眼部101等を備え、自律移動体11の眼球動作を表現する。
音出力部205は、例えば、上述したスピーカ123及びアンプ等を備え、制御部201から供給される出力音データに基づいて、出力音を出力する。
駆動部206は、例えば、上述した車輪107及びモータ125等を備え、自律移動体11の身体動作の表現に用いられる。
通信部207は、例えば、上述した接続端子105及び通信装置122等を備え、情報処理サーバ12、被操作装置13、及び、その他の外部装置との通信を行う。例えば、通信部207は、センサ部202から供給されるセンサデータを情報処理サーバ12に送信し、自律移動体11の動作を制御するための制御信号、及び、自律移動体11から出力音を出力させるための出力音データを情報処理サーバ12から受信する。
<情報処理部241の構成例>
図11は、自律移動体11の制御部201が所定の制御プログラムを実行することにより実現される情報処理部241の構成例を示している。
図11は、自律移動体11の制御部201が所定の制御プログラムを実行することにより実現される情報処理部241の構成例を示している。
情報処理部241は、認識部251、行動計画部252、動作制御部253、及び、音制御部254を備える。
認識部251は、センサ部202から供給されるセンサデータに基づいて、自律移動体11の周囲のユーザや環境、及び、自律移動体11に関する種々の情報の認識を行う機能を備える。
例えば、認識部251は、ユーザ識別、ユーザの表情や視線の認識、物体認識、色認識、形認識、マーカ認識、障害物認識、段差認識、明るさ認識、自律移動体11への刺激の認識等を行う。例えば、認識部251は、ユーザの声に係る感情認識、単語理解、音源の位置の認識等を行う。例えば、認識部251は、周囲の温度、動物体の存在、自律移動体11の姿勢や動き等を認識する。例えば、認識部251は、自律移動体11と組み合わされている機器(以下、組合せ機器と称する)を認識する。
自律移動体11が組合せ機器と組み合わされる例として、例えば、自律移動体11と組合せ機器のうち一方が他方に取り付けられる場合、自律移動体11と組合せ機器のうち一方が他方に乗る場合、自律移動体11と組合せ機器が合体する場合等が想定される。また、組合せ機器の例として、例えば、自律移動体11に着脱可能なパーツ(以下、オプションパーツと称する)、自律移動体11が乗ることが可能な移動体(以下、搭乗用移動体と称する)、自律移動体11を着脱可能な機器(以下、取付先機器と称する)等が想定される。
オプションパーツとしては、例えば、動物の体の一部(例えば、目、耳、鼻、口、くちばし、角、尻尾、羽等)を模したパーツ、衣装、着ぐるみ、自律移動体11の機能や能力等を拡張するパーツ(例えば、メダル、武器等)、車輪、キャタピラ等が想定される。搭乗用移動体としては、例えば、車、ドローン、ロボット型掃除機等が想定される。取付先機器としては、例えば、自律移動体11を含む複数のパーツから構成される合体型のロボット等が想定される。
なお、組合せ機器は、必ずしも自律移動体11専用の機器である必要はなく、例えば、汎用的な機器であってもよい。
また、認識部251は、認識した情報に基づいて、自律移動体11が置かれた環境や状況を推定し、理解する機能を備える。この際、認識部251は、事前に記憶される環境知識を用いて総合的に状況推定を行ってもよい。
認識部251は、認識結果を示すデータを行動計画部252、動作制御部253、及び、音制御部254に供給する。
行動計画部252は、認識部251による認識結果、例えば、認識部251による組合せ機器の認識結果に基づいて、自律移動体11の動作を規定する動作モードを設定する。また、行動計画部252は、例えば、認識部251による認識結果、動作モード、及び、学習知識に基づいて、自律移動体11が行う行動を計画する機能を備える。さらに、行動計画部252は、例えば、ディープラーニング等の機械学習アルゴリズムを用いて行動計画を実行する。行動計画部252は、動作データおよび行動計画を示すデータを動作制御部253及び音制御部254に供給する。
動作制御部253は、認識部251による認識結果、行動計画部252による行動計画、及び、動作モードに基づいて、光源204及び駆動部206を制御することにより、自律移動体11の動作制御を行う。動作制御部253は、例えば、自律移動体11を前傾姿勢のまま移動させたり、前後運動、旋回運動、回転運動等をさせたりする。また、動作制御部253は、ユーザと自律移動体11とのコミュニケーションを誘因する誘因動作を自律移動体11に能動的に実行させる。また、動作制御部253は、自律移動体11が行っている動作に関する情報を音制御部254に供給する。
音制御部254は、認識部251による認識結果、行動計画部252による行動計画、及び、動作モードに基づいて、音出力部205を制御することにより、出力音の制御を行う。例えば、音制御部254は、動作モード等に基づいて、出力音の制御方法を設定し、設定した制御方法に基づいて、出力音の制御(例えば、生成する出力音の内容及び出力音の出力タイミングの制御等)を行う。そして、音制御部254は、出力音を出力するための出力音データを生成し、音出力部205に供給する。また、音制御部254は、自律移動体11が出力している出力音に関する情報を動作制御部253に供給する。
<合成音の生成方法>
次に、音制御部254における合成音の生成方法について説明する。
次に、音制御部254における合成音の生成方法について説明する。
音制御部254は、例えば、FM音源を用いて、合成音からなる出力音を生成する。この際、音制御部254は、FM音源の合成に係る各種のパラメータを動的かつ連続的に変化させ、合成音の波形、すなわち、合成音のピッチ(音程、音の高さ)、音量、音色、スピード等を変化させることで、合成音の印象や感情的な意味合いを多様に表現することが可能である。
図12は、合成音に係るパラメータについて説明するための図である。図12には、FM音源の合成を行うシンセサイザが備える構成と、各構成に係るパラメータの変化により合成音により表現される出力態様との関係が示されている。
音制御部254は、例えば、オシレータに係るパラメータを変化させることで、音の基本的な質感を変化させることができる。一例としては、音制御部254は、音の波形をサイン波とすることで柔らかい印象を表現することができ、鋸歯形状とすることで鋭い印象を表現することができる。
また、音制御部254は、例えば、ピッチコントローラのパラメータ、すなわちピッチを制御することで、性別の差、イントネーション、感情の上下などを表現することができる。
図13は、音のピッチとスピードの制御により表現され得る感情の一例を示す図である。なお、図13におけるハッチング領域の大きさ(面積)は、音量を示している。音のピッチやスピードは、音が表す感情の想起に強く影響することが知られている。音制御部254は、例えば、ピッチとスピードを比較的高く設定することで、喜びや怒りの度合いなどを表現することが可能である。反対に、音制御部254は、ピッチとスピードを比較的低く設定することで、悲哀を表現することもできる。このように、音制御部254は、音のピッチやスピードを制御することで、種々の感情や、その度合いを表現することが可能である。
図12に戻り、音制御部254は、フィルタのパラメータを制御することで、音の明瞭さ(口の開け方)を表現することが可能である。音制御部254は、例えば、ハイカットフィルタの周波数を上下させることで、こもったような音や開いたような音を表現することができる。
また、音制御部254は、アンプの時間的な変化により、声量のアクセントや、立ち上がり方また終わり方の印象を変化させることが可能である。
また、音制御部254は、モジュレータのパラメータを制御することで、声の震えや滑らかさを表現することが可能である。
このように、音制御部254は、オシレータ、モジュレータ、ピッチコントローラ、フィルタ、又は、アンプなどに係る各パラメータを変化させることで、印象や感情的な意味合いを多様に表現することが可能である。
<情報処理サーバ12の機能構成例>
図14は、情報処理サーバ12の機能構成例を示している。
図14は、情報処理サーバ12の機能構成例を示している。
情報処理サーバ12は、通信部301、認識部302、行動計画部303、動作制御部304、及び、音制御部305を備える。
通信部301は、ネットワーク14を介して、自律移動体11及び被操作装置13と通信を行う。例えば、通信部301は、自律移動体11からセンサデータを受信し、自律移動体11の動作を制御するための制御信号、及び、自律移動体11から出力音を出力させるための出力音データを自律移動体11に送信する。
認識部302、行動計画部303、動作制御部304、及び、音制御部305は、自律移動体11の認識部251、行動計画部252、動作制御部253、及び、音制御部254と同様の機能を備える。すなわち、認識部302、行動計画部303、動作制御部304、及び、音制御部305は、自律移動体11の認識部251、行動計画部252、動作制御部253、及び、音制御部254の代わりに、各種の処理を行うことができる。
これにより、情報処理サーバ12は、自律移動体11を遠隔制御することができ、自律移動体11は、情報処理サーバ12の制御の下に、各種の動作を行ったり、各種の出力音を出力したりすることが可能になる。
<自律移動体11の処理>
次に、図15乃至図23を参照して、自律移動体11の処理について説明する。
次に、図15乃至図23を参照して、自律移動体11の処理について説明する。
なお、以下、自律移動体11が、情報処理サーバ12の制御によらずに、独立して各種の動作を行ったり、各種の出力音を出力したりする場合の例について説明する。
<動作モード設定処理>
まず、図15のフローチャートを参照して、自律移動体11により実行される動作モード設定処理について説明する。
まず、図15のフローチャートを参照して、自律移動体11により実行される動作モード設定処理について説明する。
この処理は、例えば、自律移動体11の電源がオンされたとき開始され、オフされたとき終了する。
ステップS1において、認識部251は、組合せ機器の組合せが変化したか否かを判定する。認識部251は、センサ部202から供給されるセンサデータ等に基づいて、自律移動体11と組み合わされている組合せ機器の追加及び削除の検出を行う。認識部251は、組合せ機器の追加及び削除を検出しなかった場合、組合せ機器の組合せが変化していないと判定し、組合せ機器の組合せが変化したと判定するまで、この判定処理を所定のタイミングで繰り返し実行する。
一方、認識部251は、組合せ機器の追加又は削除を検出した場合、組合せ機器の組合せが変化したと判定し、処理はステップS2に進む。
なお、組合せ機器の認識方法は、特に限定されない。以下、組合せ機器の認識方法の例について説明する。
まず、組合せ機器を直接認識する方法の例について説明する。
例えば、組合せ機器を電気的に認識する方法が考えられる。例えば、自律移動体11と組合せ機器との間に電気信号を流すことにより、組合せ機器が認識される。
例えば、物理的なスイッチを用いて、組合せ機器を認識する方法が考えられる。例えば、組合せ機器を自律移動体11に組み合わせた場合に、自律移動体11に設けられている接触スイッチが組合せ機器により押下されることにより、組合せ機器が認識される。例えば、組合せ機器を自律移動体11に組み合わせた場合に、自律移動体11に設けられている光スイッチが組合せ機器により遮光されることにより、組合せ機器が認識される。
例えば、色、バーコード等の視覚情報を用いて、組合せ機器を光学的に認識する方法が考えられる。例えば、カメラ102L及びカメラ102Rにより撮像された画像に基づいて、組合せ機器、及び、組合せ機器の特徴(例えば、色や形等)が認識される。
例えば、組合せ機器を磁力により認識する方法が考えられる。例えば、組合せ機器に設けられている磁石の磁力に基づいて、組合せ機器が認識される。
例えば、組合せ機器を電波により認識する方法が考えられる。例えば、認識部251は、自律移動体11の通信装置122が組合せ機器に設けられているRFID(Radio Frequency Identifier)から情報を読み取ったり、組合せ機器とBluetoothやWi-Fi等の近距離無線通信を行ったりした結果に基づいて、組合せ機器を認識する。
次に、組合せ機器が組み合わされることによる自律移動体11の動きの変化に基づいて、組合せ機器を間接的に認識する方法の例について説明する。
例えば、センサ部202からのセンサデータに基づく検出値に対して、所定のルールを適用することにより組合せ機器が認識される。
例えば、自律移動体11が車輪に乗った場合と回し車に乗った場合とで、自律移動体11の振動量と自律移動体11の移動量(オドメトリ)との比率が変化する。例えば、自律移動体11が車輪に乗った場合、自律移動体11の振動量が減少する一方、自律移動体11の移動量が増加する。一方、自律移動体11が回し車に乗った場合、自律移動体11の振動量が増加する一方、自律移動体11の移動量が減少する。従って、例えば、自律移動体11の振動量と移動量の比率に基づいて、車輪又は回し車が自律移動体11と組み合わされたことが認識される。
例えば、車輪107L及び車輪107Rより大きな車輪やキャタピラが自律移動体11に装着された場合、転がり抵抗が大きくなる。従って、自律移動体11の転がり抵抗の検出値に基づいて、車輪又はキャタピラが自律移動体11と組み合わされたことが認識される。
例えば、自律移動体11が組合せ機器に取り付けられたり、組合せ機器と合体したりした場合、自律移動体11の動きが制約されるときがある。例えば、認識部251は、センサ部202からのセンサデータに基づいて、自律移動体11の動きの制約を検出することにより、組合せ機器を認識する。
なお、上述した複数の方法を組み合わせて、組合せ機器の認識を行うようにしてもよい。
例えば、慣性センサ121を用いて検出される自律移動体11の振動パターンに基づいて、自律移動体11が車輪に乗ったことを認識することが可能である。また、例えば、磁気センサにより車輪に設けられている磁石の磁力を検出することにより、自律移動体11が車輪に乗ったことを認識することが可能である。
ここで、慣性センサ121を用いた認識方法では、車輪の認識に要する時間が長くなる一方、車輪が正しく装着されていなくても車輪の認識が可能になる。一方、磁気センサを用いた認識方法では、車輪の認識に要する時間が短くなる一方、車輪が正しく装着されていなければ車輪の認識が困難になる。従って、2つの認識方法を組み合わせることにより、両者の欠点を補うことができ、車輪の認識精度及び認識速度が向上する。
また、例えば、センサ部202からのセンサデータを用いて機械学習を行うことにより生成した判別機を用いて、組合せ機器を認識するようにすることも可能である。
ステップS2において、自律移動体11は、動作モードを変更する。
具体的には、認識部251は、自律移動体11と組み合わされている組合せ機器の有無、及び、種類を示すデータを行動計画部252に供給する。
行動計画部252は、組合せ機器が自律移動体11に組み合わされていない場合、動作モードを通常モードに設定する。
一方、行動計画部252は、組合せ機器が自律移動体11に組み合わされている場合、例えば、組み合わされている組合せ機器の種類に基づいて、動作モードを設定する。
例えば、行動計画部252は、自律移動体11の頭部にネコの耳型のオプションパーツ(以下、耳型パーツと称する)が装着された場合、動作モードをネコモードに設定する。例えば、行動計画部252は、自律移動体11が車に乗っている場合、動作モードを車両モードに設定する。
なお、複数の組合せ機器が自律移動体11に組み合わされている場合、行動計画部252は、例えば、その組み合わせに基づいて、動作モードを設定する。或いは、行動計画部252は、組合せ機器の優先順位に基づいて、最も優先順位の高い組合せ機器の種類に基づいて、動作モードを設定する。
また、例えば、行動計画部252は、組合せ機器の種類によらずに、組合せ機器が組み合わされているか否かのみに基づいて、動作モードを設定するようにしてもよい。
行動計画部252は、設定した動作モードを示すデータを動作制御部253及び音制御部254に供給する。
その後、処理はステップS1に戻り、ステップS1以降の処理が実行される。
<動作音出力制御処理の基本例>
次に、図16のフローチャートを参照して、自律移動体11により実行される動作音出力制御処理の基本例について説明する。
次に、図16のフローチャートを参照して、自律移動体11により実行される動作音出力制御処理の基本例について説明する。
ステップS51において、認識部251は、センサデータを中間パラメータに変換する。
例えば、慣性センサ121に含まれる加速度センサのセンサデータには、重力加速度の成分が含まれる。従って、加速度センサのセンサデータをそのまま用いて動作音を出力した場合、自律移動体11が動いていなくても動作音が常時出力されるようになる。
また、加速度センサのセンサデータは、x軸、y軸、z軸の3軸方向の加速度を含むため、自律移動体11の移動に対応する成分以外に、振動やノイズに対応する成分も含まれる。従って、加速度センサのセンサデータをそのまま用いて動作音を出力した場合、自律移動体11の移動以外に、振動やノイズに反応して動作音が出力されるようになる。
これに対して、認識部251は、センサ部202に含まれる各センサのセンサデータを、動作音の出力対象となる自律移動体11の状況に対応し、人間が理解できる中間パラメータに変換する。
具体的には、認識部251は、センサ部202に含まれる各センサからセンサデータを取得し、各センサデータに対してフィルタ処理や閾値処理等の算術及び論理演算を行うことにより、各センサデータを所定の種類の中間パラメータに変換する。
図17は、センサデータから中間パラメータへの変換方法の具体例を示している。
例えば、認識部251は、センサ部202に含まれる回転センサ401から、自律移動体11のモータ125D又はモータ125Eの回転数を示すセンサデータを取得する。認識部251は、モータ125D又はモータ125Eの回転数に基づいて、オドメトリを計算することにより、自律移動体11の移動量を計算する。また、認識部251は、自律移動体11の移動量に基づいて、自律移動体11の並進方向(前後左右方向)の速度(以下、並進速度と称する)を計算する。これにより、センサデータが、中間パラメータである速度(並進速度)に変換される。
例えば、認識部251は、センサ部202に含まれ、自律移動体11の底面に設けられているIRセンサ402(図2乃至図9で不図示)から、底面に物体(例えば、床面)が近接しているか否かを示すセンサデータを取得する。また、認識部251は、慣性センサ121に含まれる加速度センサ121Aから自律移動体11の加速度を示すセンサデータを取得する。認識部251は、自律移動体11の底面に物体が近接しているか否か、及び、自律移動体11の加速度に基づいて、自律移動体11が持ち上げられているか否かを認識する。これにより、センサデータが、中間パラメータである持ち上げの有無に変換される。
例えば、認識部251は、加速度センサ121Aから自律移動体11の加速度を示すセンサデータを取得する。また、認識部251は、慣性センサ121に含まれる角速度センサ121Bから自律移動体11の角速度を示すセンサデータを取得する。認識部251は、自律移動体11の加速度及び角速度に基づいて、自律移動体11が持ち上げられた後の動き量を検出する。この動き量は、例えば、自律移動体11が持ち上げられた後に揺り動かされた量を示す。これにより、センサデータが、中間パラメータである自律移動体11が持ち上げられた後の動き量に変換される。
例えば、認識部251は、角速度センサ121Bから自律移動体11の角速度を示すセンサデータを取得する。認識部251は、自律移動体11の角速度に基づいて、自律移動体の上下方向の軸を中心とするヨー方向の回転(横回転)を検出する。これにより、センサデータが、中間パラメータである自律移動体11が横回転に変換される。
例えば、認識部251は、センサ部202に含まれ、ユーザが触れる可能性が高い1カ所以上の部位に設けられているタッチセンサ403から、自律移動体11への接触の有無を示すセンサデータを取得する。タッチセンサ403は、例えば、静電容量式や感圧式のタッチセンサにより構成される。認識部251は、自律移動体11への接触の有無に基づいて、ユーザの触れる、撫でる、叩く、押すなどの接触行為を認識する。これにより、センサデータが、中間パラメータである自律移動体11への接触行為の有無に変換される。
ステップS52において、音制御部254は、中間パラメータ及び動作モードに基づいて、動作音を生成する。
例えば、音制御部254は、自律移動体11の速度が所定の閾値以上の場合、自律移動体11の並進に対応する動作音である並進音を生成する。このとき、音制御部254は、例えば、自律移動体11の速度、及び、動作モード等に基づいて、並進音のピッチ(例えば、周波数)、音量、音色(例えば、周波数成分、変調度合い等)、スピード等のパラメータのうちのいくつかを変化させる。
例えば、動作モードが通常モードに設定されている場合、自律移動体11の速度に応じた連続音であって、車輪の回転音を模した音が並進音として生成される。
例えば、動作モードが上述したネコモードに設定されている場合、ネコの足音を模した音が並進音として生成される。
例えば、動作モードが上述した車両モードに設定されている場合、自律移動体11の速度に応じてピッチが変化し、車の走行音を模した音が並進音として生成される。
例えば、音制御部254は、自律移動体11が持ち上げられている場合、自律移動体11の持ち上げに対応する動作音である持ち上げ音を生成する。このとき、音制御部254は、例えば、自律移動体11が持ち上げられた後の動き量の変化、及び、動作モード等に基づいて、持ち上げ音のピッチ、音量、音色、スピード等のパラメータのうちのいくつかを変化させる。
例えば、動作モードが通常モードに設定されている場合、人が驚いたような音が持ち上げ音として生成される。
例えば、動作モードがネコモードに設定されている場合、ネコを怒らせたような低い成分を含む音が持ち上げ音として生成される。
なお、例えば、動作モードが車両モードに設定されている場合、持ち上げ音は生成されず、出力されない。
例えば、音制御部254は、自律移動体11の横回転の回転速度が所定の閾値以上の場合、自律移動体11の横回転に対応する動作音である回転音を生成する。このとき、音制御部254は、例えば、自律移動体11の横方向の回転速度の変化、及び、動作モード等に基づいて、回転音のピッチ、音量、音色、スピード等のパラメータのうちのいくつかを変化させる。
例えば、動作モードが通常モードに設定されている場合、自律移動体11の回転速度に応じてピッチが変化する回転音が生成される。
例えば、動作モードがネコモードに設定されている場合、自律移動体11の回転速度に応じてピッチが変化し、通常モードの場合と異なる音色の回転音が生成される。
例えば、動作モードが車両モードに設定されている場合、自律移動体11の回転速度に応じてピッチが変化し、通常モード及びネコモードの場合と異なる音色の回転音が生成される。例えば、モータの回転音を模した並進音が生成される。
例えば、音制御部254は、自律移動体11への接触行為が認識された場合、接触行為に対する自律移動体11の反応を示す動作音である接触音を生成する。このとき、音制御部254は、例えば、自律移動体11への接触行為の種類、継続時間及び強さ、並びに、動作モード等に基づいて、接触音の高さ、音量、音色、スピード等のパラメータのうちのいくつかを変化させる。
例えば、動作モードがネコモードに設定されている場合、ネコの鳴き声を模した音が接触音として生成される。
なお、例えば、動作モードが通常モード又は車両モードに設定されている場合、接触音は生成されず、出力されない。
このようにして、組合せ機器の種類に対応する内容に動作音の内容が設定される。
ステップS53において、自律移動体11は、動作音を出力する。具体的には、音制御部254は、生成した動作音を出力するための出力音データを生成し、音出力部205に供給する。音出力部205は、取得した出力音データに基づいて、動作音を出力する。
なお、例えば、音制御部254は、出力音を出力するトリガとなる自律移動体11の状況(例えば、自律移動体11の動き又は自律移動体11への刺激等)の認識が開始されたときの動作音の反応速度を、当該状況の認識が終了したときの動作音の反応速度より速くする。例えば、音制御部254は、当該状況の認識の開始時に動作音が迅速に立ち上がり、当該状況の認識の終了時に動作音が緩やかに停止するように、動作音の出力を制御する。
例えば、図18のAは、タッチセンサ403のセンサデータの波形を示すグラフである。横軸は時刻を示し、縦軸はセンサデータの値を示している。図18のBは、接触音の波形を示すグラフである。横軸は時刻を示し、縦軸は接触音の音量を示している。
例えば、時刻t1において、ユーザが自律移動体11への接触行為を開始したとき、タッチセンサ403はセンサデータの出力を開始する。これにより、認識部251による接触行為の認識が開始される。このとき、音制御部254は、接触音を急峻に立ち上げる。すなわち、音制御部254は、接触行為の認識の開始と略同時に接触音の出力を開始させるとともに、接触音の音量を急峻に増大させる。
一方、時刻t2において、ユーザが自律移動体11への接触行為を終了したとき、タッチセンサ403はセンサデータの出力を停止する。これにより、認識部251による接触行為の認識が終了する。このとき、音制御部254は、接触音を緩やかに停止させる。すなわち、音制御部254は、接触行為の認識が終了した後、接触音の音量を緩やかに減少させ、接触音の出力をしばらく継続させる。
これにより、より自然な接触音が出力されるようになる。例えば、ユーザが接触行為を開始すると略同時に接触音が出力されるため、ユーザの接触行為が短期間であっても、接触行為の終了後に不自然に接触音の出力が開始されることが防止される。また、ユーザの接触行為の終了後に接触音の余韻が残り、接触音が不自然に突然停止することが防止される。
また、例えば、並進音も接触音と同様に制御するようにしてもよい。例えば、自律移動体11の並進方向の移動の認識が開始されると略同時に、並進音が急峻に立ち上がり、自律移動体11の並進方向の移動の認識が終了したとき、並進音が緩やかに停止されるようにしてもよい。
<並進音出力制御処理の具体例>
次に、図19乃至図22を参照して、並進音の出力を制御する処理の具体例について説明する。具体的には、オプションパーツの1つである耳型パーツが自律移動体11に装着されていない場合と装着されている場合の並進音出力制御処理の具体例について説明する。
次に、図19乃至図22を参照して、並進音の出力を制御する処理の具体例について説明する。具体的には、オプションパーツの1つである耳型パーツが自律移動体11に装着されていない場合と装着されている場合の並進音出力制御処理の具体例について説明する。
<通常モード時の並進音出力制御処理>
まず、図19のフローチャートを参照して、自律移動体11に耳型パーツが装着されておらず、動作モードが通常モードに設定されている場合の並進音出力制御処理について説明する。
まず、図19のフローチャートを参照して、自律移動体11に耳型パーツが装着されておらず、動作モードが通常モードに設定されている場合の並進音出力制御処理について説明する。
この処理は、例えば、自律移動体11の電源がオンされたとき開始され、オフされたとき終了する。
ステップS101において、認識部251は、モータの回転数rを検出する。具体的には、認識部251は、センサ部202に含まれる回転センサ401から、自律移動体11のモータ125D又はモータ125Eの回転数を示すセンサデータを取得する。認識部251は、取得したセンサデータに基づいて、モータ125D又はモータ125Eの回転数rを検出する。
ステップS102において、認識部251は、回転数r>閾値Rthであるか否かを判定する。回転数r≦閾値Rthであると判定された場合、並進音は出力されずに、処理はステップS101に戻る。回転数rは、自律移動体11の並進速度に略比例するため、自律移動体11の並進速度が所定の閾値以下である場合、並進音は出力されない。
その後、ステップS102において、回転数r>閾値Rthであると判定されるまで、ステップS101及びステップS102の処理が繰り返し実行される。
一方、ステップS102において、回転数r>閾値Rthであると判定された場合、すなわち、自律移動体11の並進速度が所定の閾値を超えている場合、処理はステップS103に進む。
ステップS103において、認識部251は、変数vに回転数r-閾値Rthを設定する。変数vは、回転数rに比例し、自律移動体11の並進速度に略比例する。認識部251は、変数vを示すデータを音制御部254に供給する。
ステップS104において、音制御部254は、並進音の音量を、min(A*v、VOLmax)に設定する。ここで、Aは所定の係数である。また、音量VOLmaxは、並進音の最大音量である。これにより、並進音の音量が、最大音量VOLmax以下の範囲内において、自律移動体11の並進速度に略比例した音量に設定される。
ステップS105において、音制御部254は、並進音の周波数を、min(f0*exp(B*v)、FQmax)に設定する。ここで、Bは所定の係数である。また、周波数FQmaxは、並進音の最大周波数である。
人間にとって聞き心地の良い音の周波数は、約200~2000Hzの範囲である。また、人間の音の分解能は、周波数が低くなるほど細かくなり、周波数が高くなるほど粗くなる。そこで、並進音の周波数(ピッチ)が、最大周波数FQmax(例えば、2000Hz)以下の範囲内において、自律移動体11の並進速度に対して指数的に変化するように設定される。
ステップS106において、自律移動体11は、並進音を出力する。具体的には、音制御部254は、設定した音量及び周波数の並進音を出力するための出力音データを生成し、音出力部205に供給する。音出力部205は、取得した出力音データに基づいて、並進音を出力する。
その後、処理はステップS101に戻り、ステップS101以降の処理が実行される。
これにより、例えば、自律移動体11の並進速度が所定の閾値以下の場合、図20のAに示されるように、並進音は出力されない。一方、自律移動体11の並進速度が所定の閾値を超えた場合、図20のB及びCに示されるように、並進速度が速くなるほど、並進音の周波数(ピッチ)が高く、振幅(音量)が大きくなる。
<ネコモード時の並進音出力制御処理>
次に、図21のフローチャートを参照して、自律移動体11に耳型パーツが装着され、動作モードがネコモードに設定されている場合の並進音出力制御処理について説明する。
次に、図21のフローチャートを参照して、自律移動体11に耳型パーツが装着され、動作モードがネコモードに設定されている場合の並進音出力制御処理について説明する。
この処理は、例えば、自律移動体11の電源がオンされたとき開始され、オフされたとき終了する。
ステップS151において、図19のステップS101の処理と同様に、モータの回転数rが検出される。
ステップS152において、図19のステップS102の処理と同様に、回転数r>閾値Rthであるか否かが判定される。回転数r>閾値Rthであると判定された場合、処理はステップS153に進む。
ステップS153において、認識部251は、移動量Δdに回転数rを加算する。移動量Δdは、自律移動体11が並進方向の移動を開始してからのモータの回転数、又は、前回並進音を出力してからのモータの回転数の積算値を表し、自律移動体11の並進方向の移動量に略比例する。
ステップS154において、認識部251は、移動量Δd>閾値Dthであるか否かを判定する。移動量Δd≦閾値Dthであると判定された場合、並進音は出力されずに、処理はステップS151に戻る。すなわち、自律移動体11が並進方向の移動を開始してからの並進方向の移動量、又は、前回並進音を出力してからの並進方向の移動量が所定の閾値以下である場合、並進音は出力されない。
その後、ステップS152において、回転数r≦閾値Rthであると判定されるか、ステップS154において、移動量Δd>閾値Dthであると判定されるまで、ステップS151乃至ステップS154の処理が繰り返し実行される。
一方、ステップS154において、移動量Δd>閾値Dthであると判定された場合、すなわち、自律移動体11が並進方向の移動を開始してからの並進方向の移動量、又は、前回並進音を出力してからの並進方向の移動量が所定の閾値を超えた場合、処理はステップS155に進む。
ステップS155において、図19のステップS103の処理と同様に、変数vに回転数r-閾値Rthが設定される。
ステップS156において、音制御部254は、並進音の音量を、min(C*v、VOLmax)に設定する。ここで、Cは所定の係数である。これにより、並進音の音量が、最大音量VOLmax以下の範囲内において、自律移動体11の並進速度に略比例した音量に設定される。
なお、係数Cは、例えば、図19のステップS104の処理で用いられた係数Aより小さい値に設定される。従って、ネコモードの場合、通常モードの場合と比較して、自律移動体11の並進速度に対する並進音の音量の変化量が小さくなる。
ステップS157において、音制御部254は、変数vに応じて倍音成分を設定する。具体的には、音制御部254は、変数vが大きくなるほど、すなわち、自律移動体11の並進速度が速くなるほど、倍音成分が増えるように、並進音の倍音成分を設定する。
ステップS158において、自律移動体11は、並進音を出力する。具体的には、音制御部254は、設定した倍音成分を含む並進音を、設定した音量で出力するための出力音データを生成し、音出力部205に供給する。音出力部205は、取得した出力音データに基づいて、並進音を出力する。
その後、処理はステップS159に進む。
一方、ステップS152において、回転数r≦閾値Rthであると判定された場合、すなわち、自律移動体11の並進速度が所定の閾値以下である場合、ステップS153乃至ステップS158の処理はスキップされ、処理はステップS159に進む。
ステップS159において、認識部251は、移動量Δdを0に設定する。すなわち、並進音の出力後、又は、自律移動体11の並進速度が所定の閾値以下になった場合、移動量Δdが0にリセットされる。
その後、処理はステップS151に戻り、ステップS151以降の処理が実行される。
これにより、例えば、自律移動体11の並進速度が所定の閾値以下の場合、図22のAに示されるように、並進音は出力されない。一方、自律移動体11の並進速度が所定の閾値を超えた場合、図22のB及びCに示されるように、並進音が、無音の期間を挟みながら断続的に出力される。また、速度が大きくなるほど、並進音の倍音成分が増加し、並進音の出力タイミングが密になる。
このように、自律移動体11に耳型パーツの装着の有無により、並進音の制御方法が変更される。
例えば、自律移動体11に耳型パーツを装着した場合、ネコの動作音を模した音に動作音の内容が変更される。例えば、自律移動体11が並進方向に移動した場合、並進音が連続的に出力されずに、ネコの足音のように断続的に出力される。また、実際のネコは、移動速度が速くなるほど地面を強く蹴るようになり、足音が硬い音になると想定される。従って、自律移動体11の並進速度が速くなるほど、より硬い音になるように、並進音の倍音成分が増加する。
以上により、ユーザは、自律移動体11への耳型パーツの装着の有無により、自律移動体11のキャラクタが変化することを強く実感することができ、ユーザの満足度が向上する。
なお、並進音の音色を、例えば、変数v、変数vの整数倍、又は、変数vに指数関数を適用した値を所定のフィルタに適用した音色に設定するようにしてもよい。
また、例えば、所定の波形の音を作成又は録音しておき、変数vに基づいて、ピッチや音量を動的に変化させて並進音を生成するようにしてもよい。また、例えば、複数の波形の並進音を作成又は録音しておき、変数vに基づいて、使用する音を切り替えるようにしてもよい。例えば、予め柔らかく地面を蹴る音と、強く地面を蹴る音の二種類を作成しておき、変数vに基づいて、それらの音を合成する比率を変えることにより、並進音を生成するようにしてもよい。
さらに、回転音も並進音と同様に制御するようにしてもよい。例えば、角速度センサ121Bにより検出された角速度の絶対値aが、所定の閾値Athを超えた場合に、回転音を出力するようにするとともに、変数vを角速度の絶対値a-閾値Athに設定し、回転音の制御に用いるようにしてもよい。
また、持ち上げ音も並進音及び回転音と同様に制御するようにしてもよい。この場合、例えば、加速度センサ121Aにより検出される加速度のフレーム間の差分に基づいて、自律移動体11の持ち上げの激しさを表すように持ち上げ音が変調される。
<持ち上げ音出力制御処理の具体例>
自律移動体11の状況が、複数の種類のセンサを用いてそれぞれ認識される場合、各センサの特性により、認識速度や認識精度等の認識特性が異なるときがある。
自律移動体11の状況が、複数の種類のセンサを用いてそれぞれ認識される場合、各センサの特性により、認識速度や認識精度等の認識特性が異なるときがある。
例えば、図17を参照して上述したように、自律移動体11の持ち上げは、IRセンサ402及び加速度センサ121Aを用いて認識される。そして、後述するように、IRセンサ402を用いた場合と加速度センサ121Aを用いた場合とで、自律移動体11の持ち上げの認識特性に差が生じる。
これに対して、各センサの特性に応じた制御方法により、出力音の制御を行うことにより、出力音の応答性能や表現の幅を向上させることが可能である。
ここで、図23を参照して、持ち上げ音の出力を制御する処理の具体例について説明する。
この処理は、例えば、自律移動体11の電源がオンされたとき開始され、オフされたとき終了する。
ステップS201において、認識部251は、加速度センサ121Aにより持ち上げを認識したか否かを判定する。認識部251は、加速度センサ121Aからのセンサデータに基づいて、自律移動体11の持ち上げを認識しなかった場合、加速度センサ121Aにより持ち上げを認識していないと判定し、処理はステップS202に進む。
ステップS202において、認識部251は、IRセンサ402により持ち上げを認識したか否かを判定する。認識部251は、IRセンサ402からのセンサデータに基づいて、自律移動体11の持ち上げを認識しなかった場合、IRセンサ402により持ち上げを認識していないと判定し、処理はステップS201に戻る。
その後、ステップS201において、加速度センサ121Aにより持ち上げを認識したと判定されるか、ステップS202において、IRセンサ402により持ち上げを認識したと判定されるまで、ステップS201及びステップS202の処理が繰り返し実行される。
一方、ステップS202において、認識部251は、IRセンサ402からのセンサデータに基づいて、自律移動体11の持ち上げを認識した場合、IRセンサ402により持ち上げを認識したと判定し、処理はステップS203に進む。
例えば、IRセンサ402を用いた場合、自律移動体11の持ち上げ方に関わらず、認識精度が高くなる。一方、加速度センサ121Aを用いた場合、自律移動体11が素早く持ち上げられたときの認識精度は高くなるが、自律移動体11がゆっくり持ち上げられたときの認識精度は低くなる。また、加速度センサ121Aを用いた場合、自律移動体11の持ち上げと他の動きとの区別が困難である。
さらに、IRセンサ402は、一般的に加速度センサ121Aよりサンプリングレートが低い。従って、IRセンサ402を用いた場合、加速度センサ121Aを用いた場合と比較して、自律移動体11の持ち上げの認識速度(反応速度)が遅くなる可能性がある。
従って、処理がステップS203に進むのは、加速度センサ121Aより先にIRセンサ402により自律移動体11の持ち上げが認識された場合であり、例えば、自律移動体11がゆっくり持ち上げられた場合が想定される。
ステップS203において、自律移動体11は、所定の持ち上げ音を出力する。具体的には、認識部251は、自律移動体11が持ち上げられたことを音制御部254に通知する。音制御部254は、所定のピッチ、音量、音色、及び、スピードの持ち上げ音を出力するための出力音データを生成し、音出力部205に供給する。音出力部205は、取得した出力音データに基づいて、持ち上げ音を出力する。
ここで、図17を参照して上述したように、自律移動体11が持ち上げられた後の動き量は、加速度センサ121A及び角速度センサ121Bを用いて検出される。一方、IRセンサ402では、自律移動体11が持ち上げられた後の動き量を検出することはできない。従って、加速度センサ121Aより先にIRセンサ402により自律移動体11の持ち上げが認識された場合、自律移動体11が持ち上げられた後の動き量を検出することが困難である。
そこで、加速度センサ121Aより先にIRセンサ402により自律移動体11の持ち上げが認識された場合、自律移動体11の持ち上げ方に関わらず、とりあえず固定の持ち上げ音が出力される。
その後、処理はステップS204に進む。
一方、ステップS201において、認識部251は、加速度センサ121Aからのセンサデータに基づいて、自律移動体11の持ち上げを認識した場合、加速度センサ121Aにより持ち上げを認識したと判定し、ステップS202及びステップS203の処理はスキップされ、処理はステップS204に進む。
これは、IRセンサ402より先又は略同時に、加速度センサ121Aにより自律移動体11の持ち上げが認識された場合であり、例えば、自律移動体11が素早く持ち上げられた場合が想定される。
ステップS204において、自律移動体11は、持ち上げ方に応じた持ち上げ音を出力する。
具体的には、認識部251は、加速度センサ121A及び角速度センサ121Bからのセンサデータに基づいて、自律移動体11が持ち上げられた後の動き量を検出する。認識部251は、検出した動き量を示すデータを音制御部254に供給する。
音制御部254は、持ち上げ音を生成する。このとき、音制御部254は、例えば、自律移動体11が持ち上げられた後の動き量の変化、及び、動作モード等に基づいて、持ち上げ音のピッチ、音量、音色、スピード等のパラメータのうちのいくつかを変化させる。
なお、ステップS203の処理により、先に固定の持ち上げ音が出力されている場合、固定の持ち上げ音とのつながりが自然になるように、持ち上げ音のパラメータが設定される。
音制御部254は、生成した持ち上げ音を出力するための出力音データを生成し、音出力部205に供給する。
音出力部205は、取得した出力音データに基づいて、持ち上げ音を出力する。
その後、処理はステップS201に戻り、ステップS201以降の処理が実行される。
このように、自律移動体11の持ち上げ方に関わらず、迅速に持ち上げ音が出力される。また、自律移動体11の持ち上げ方に応じた持ち上げ音が出力される。
以上のように、自律移動体11の状況に応じて、特に、組合せ機器との組み合わせに応じて、適切な内容の動作音が適切なタイミングで出力される。また、自律移動体11の動作音の応答性や表現の幅が広がる。その結果、自律移動体11の動作音によるユーザ体験が向上する。
<<2.変形例>>
以下、上述した本技術の実施の形態の変形例について説明する。
以下、上述した本技術の実施の形態の変形例について説明する。
上述した動作音の種類、組合せ機器の種類、動作音の制御方法は、その一例であり、任意に変更することが可能である。例えば、自律移動体11が、ロボット型掃除機の上に乗った場合、掃除をしているような動作音を出力するようにしてもよい。
以上の説明では、組合せ機器との組み合わせに基づいて、出力音のうち動作音を制御する例を示したが、発話音も同様に制御するようにしてもよい。
例えば、自律移動体11が各組合せ機器と組み合わされた場合の出力音の制御方法をユーザが設定できるようにしてもよい。
例えば、自律移動体11が組合せ機器と他の条件とに基づいて、出力音の制御方法を設定するようにしてもよい。例えば、自律移動体11が、組合せ機器と組み合わされた場合、さらに時間(例えば、時間帯、季節等)、場所等の条件により、出力音の制御方法を設定するようにしてもよい。
自律移動体11が他の組合せ機器と組み合わされることにより別の自律移動体(例えば、ロボット等)が構成される場合、例えば、自律移動体11単独ではなく、新たに構成された自律移動体全体で、出力音の制御を行うようにしてもよい。
例えば、自律移動体11と組合せ機器が接触した場合だけでなく、非接触の状態でも、両者が組み合わされたと認識し、出力音の制御方法を変更するようにしてもよい。例えば、自律移動体11とロボット等の他の組合せ機器とが接近した場合に、自律移動体11と当該組合せ機器とが組み合わされたと認識し、出力音の制御方法を変更するようにしてもよい。
この場合、例えば、カメラ102L及びカメラ102Rにより撮像された画像に基づいて、他の組合せ機器の接近が認識される。ただし、画像を用いた場合、組合せ機器が自律移動体11の死角に存在するとき、自律移動体11が、組合せ機器の接近を認識することができない。これに対して、上述したように、さらに近距離無線通信を用いて、組合せ機器の接近を認識するようにしてもよい。
例えば、ユーザが組合せ機器を装着し、自律移動体11と組合せ機器を装着したユーザとが接近した場合に、出力音の制御方法を変更するようにしてもよい。これにより、例えば、ユーザが帰宅した場合に、自律移動体11がユーザを出迎え、喜ぶような出力音を出力することが可能になる。
例えば、自律移動体11が、カメラ102L及びカメラ102Rにより撮像された画像や人感センサ等を用いて、組合せ機器の有無に関わらず、ユーザ自身を認識し、ユーザとの組み合わせに基づいて、出力音の制御方法を設定するようにしてもよい。
例えば、自律移動体11の形状の変化に伴い、出力音の制御方法を変更するようにしてもよい。例えば、自律移動体11の変形後の形状に近い生物やキャラクタに対応した出力音を出力するように出力音の制御方法を変更するようにしてもよい。
例えば、自律移動体とは異なるスマートフォン等の電子機器が組合せ機器と組み合わされた場合に、電子機器の出力音の制御方法を変更するようにしてもよい。例えば、スマートフォンが回し車に装着され、回し車により移動する場合、スマートフォンが、回し車の車輪の回転に対応した動作音を出力するようにしてもよい。
例えば、自律移動体11が組合せ機器と組み合わされた場合、自律移動体11の状況の認識に、組合せ機器のセンサを用いるようにしてもよい。
例えば、上述したように、情報処理サーバ12が、自律移動体11からセンサデータを受信し、受信したセンサデータに基づいて、自律移動体11の出力音を制御することが可能である。また、情報処理サーバ12が自律移動体11の出力音の制御を行う場合、情報処理サーバ12が出力音を生成するようにしてもよいし、自律移動体11が、情報処理サーバ12の制御の下に、出力音を生成するようにしてもよい。
<<3.その他>>
<コンピュータの構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
<コンピュータの構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図24は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ1000において、CPU(Central Processing Unit)1001,ROM(Read Only Memory)1002,RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及びドライブ1010が接続されている。
入力部1006は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1011を駆動する。
以上のように構成されるコンピュータ1000では、CPU1001が、例えば、記録部1008に記録されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ1000では、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
本技術は、以下のような構成をとることもできる。
(1)
自装置と組み合わされている機器である組合せ機器の認識を行う認識部と、
前記組合せ機器の認識結果に基づいて、前記自装置から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う音制御部と
を備える自律移動体。
(2)
前記認識部は、前記自装置の状況をさらに認識し、
前記音制御部は、前記自装置の状況に基づいて、前記出力音の制御を行う
前記(1)に記載の自律移動体。
(3)
前記音制御部は、所定の状況の認識が開始されたときの前記出力音の反応速度を、前記所定の状況の認識が終了したときの前記出力音の反応速度より速くする
前記(2)に記載の自律移動体。
(4)
前記音制御部は、前記所定の状況の認識が開始されたとき前記出力音を迅速に立ち上げ、前記所定の状況の認識が終了したとき前記出力音を緩やかに停止させる
前記(3)に記載の自律移動体。
(5)
前記所定の状況は、前記自装置の動き又は前記自装置への刺激である
前記(3)又は(4)に記載の自律移動体。
(6)
前記認識部は、複数の種類のセンサをそれぞれ用いて前記自装置の状況を認識し、
前記音制御部は、前記自装置の状況の認識に用いられた前記センサの種類に基づいて、前記出力音の制御方法を変更する
前記(2)乃至(5)のいずれかに記載の自律移動体。
(7)
前記音制御部は、前記自装置の状況の認識に用いられた前記センサの特性に応じた制御方法により、前記出力音の制御を行う
前記(6)に記載の自律移動体。
(8)
前記音制御部は、前記組合せ機器の認識結果に基づいて、生成する前記出力音の内容、及び、前記出力音の出力タイミングのうち少なくとも1つを変更する
前記(1)乃至(7)のいずれかに記載の自律移動体。
(9)
前記音制御部は、前記自装置に組み合わされている前記組合せ機器の種類に対応する内容に前記出力音の内容を変更する
前記(8)に記載の自律移動体。
(10)
前記音制御部は、前記出力音のピッチ、音量、音色、及び、スピードのうち少なくとも1つを変更する
前記(8)又は(9)に記載の自律移動体。
(11)
前記音制御部は、認識された前記組合せ機器の種類に基づいて、前記出力音の制御方法を変更する
前記(1)乃至(10)のいずれかに記載の自律移動体。
(12)
前記出力音は、前記自装置の動きに対応して出力される音、又は、前記自装置への刺激に対応して出力される音を含む
前記(1)乃至(11)のいずれかに記載の自律移動体。
(13)
前記認識部は、1種類以上のセンサからのセンサデータに基づいて、前記組合せ機器の認識を行う
前記(1)乃至(12)のいずれかに記載の自律移動体。
(14)
前記認識部は、前記センサデータに基づいて認識される前記自装置の動きの変化に基づいて、前記組合せ機器の認識を行う
前記(13)に記載の自律移動体。
(15)
前記組合せ機器は、前記自装置に着脱可能なパーツ、前記自装置を着脱可能な機器、及び、前記自装置が乗ることが可能な移動体のうち少なくとも1つを含む
前記(1)乃至(14)のいずれかに記載の自律移動体。
(16)
自律移動体と組み合わされている機器である組合せ機器の認識を行い、
前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、
変更した前記制御方法に基づいて、前記出力音の制御を行う
情報処理方法。
(17)
自律移動体と組み合わされている機器である組合せ機器の認識を行い、
前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、
変更した前記制御方法に基づいて、前記出力音の制御を行う
処理をコンピュータに実行させるためのプログラム。
(18)
自律移動体と組み合わされている機器である組合せ機器の認識を行う認識部と、
前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う音制御部と
を備える情報処理装置。
自装置と組み合わされている機器である組合せ機器の認識を行う認識部と、
前記組合せ機器の認識結果に基づいて、前記自装置から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う音制御部と
を備える自律移動体。
(2)
前記認識部は、前記自装置の状況をさらに認識し、
前記音制御部は、前記自装置の状況に基づいて、前記出力音の制御を行う
前記(1)に記載の自律移動体。
(3)
前記音制御部は、所定の状況の認識が開始されたときの前記出力音の反応速度を、前記所定の状況の認識が終了したときの前記出力音の反応速度より速くする
前記(2)に記載の自律移動体。
(4)
前記音制御部は、前記所定の状況の認識が開始されたとき前記出力音を迅速に立ち上げ、前記所定の状況の認識が終了したとき前記出力音を緩やかに停止させる
前記(3)に記載の自律移動体。
(5)
前記所定の状況は、前記自装置の動き又は前記自装置への刺激である
前記(3)又は(4)に記載の自律移動体。
(6)
前記認識部は、複数の種類のセンサをそれぞれ用いて前記自装置の状況を認識し、
前記音制御部は、前記自装置の状況の認識に用いられた前記センサの種類に基づいて、前記出力音の制御方法を変更する
前記(2)乃至(5)のいずれかに記載の自律移動体。
(7)
前記音制御部は、前記自装置の状況の認識に用いられた前記センサの特性に応じた制御方法により、前記出力音の制御を行う
前記(6)に記載の自律移動体。
(8)
前記音制御部は、前記組合せ機器の認識結果に基づいて、生成する前記出力音の内容、及び、前記出力音の出力タイミングのうち少なくとも1つを変更する
前記(1)乃至(7)のいずれかに記載の自律移動体。
(9)
前記音制御部は、前記自装置に組み合わされている前記組合せ機器の種類に対応する内容に前記出力音の内容を変更する
前記(8)に記載の自律移動体。
(10)
前記音制御部は、前記出力音のピッチ、音量、音色、及び、スピードのうち少なくとも1つを変更する
前記(8)又は(9)に記載の自律移動体。
(11)
前記音制御部は、認識された前記組合せ機器の種類に基づいて、前記出力音の制御方法を変更する
前記(1)乃至(10)のいずれかに記載の自律移動体。
(12)
前記出力音は、前記自装置の動きに対応して出力される音、又は、前記自装置への刺激に対応して出力される音を含む
前記(1)乃至(11)のいずれかに記載の自律移動体。
(13)
前記認識部は、1種類以上のセンサからのセンサデータに基づいて、前記組合せ機器の認識を行う
前記(1)乃至(12)のいずれかに記載の自律移動体。
(14)
前記認識部は、前記センサデータに基づいて認識される前記自装置の動きの変化に基づいて、前記組合せ機器の認識を行う
前記(13)に記載の自律移動体。
(15)
前記組合せ機器は、前記自装置に着脱可能なパーツ、前記自装置を着脱可能な機器、及び、前記自装置が乗ることが可能な移動体のうち少なくとも1つを含む
前記(1)乃至(14)のいずれかに記載の自律移動体。
(16)
自律移動体と組み合わされている機器である組合せ機器の認識を行い、
前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、
変更した前記制御方法に基づいて、前記出力音の制御を行う
情報処理方法。
(17)
自律移動体と組み合わされている機器である組合せ機器の認識を行い、
前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、
変更した前記制御方法に基づいて、前記出力音の制御を行う
処理をコンピュータに実行させるためのプログラム。
(18)
自律移動体と組み合わされている機器である組合せ機器の認識を行う認識部と、
前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う音制御部と
を備える情報処理装置。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
1 情報処理システム, 11 自律移動体, 12 情報処理サーバ, 201 制御部, 202 センサ部, 205 音出力部, 241 情報処理部, 251 認識部, 252 行動計画部, 253 動作制御部, 254 音制御部, 302 認識部, 303 行動計画部, 304 動作制御部, 305 音制御部
Claims (18)
- 自装置と組み合わされている機器である組合せ機器の認識を行う認識部と、
前記組合せ機器の認識結果に基づいて、前記自装置から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う音制御部と
を備える自律移動体。 - 前記認識部は、前記自装置の状況をさらに認識し、
前記音制御部は、前記自装置の状況に基づいて、前記出力音の制御を行う
請求項1に記載の自律移動体。 - 前記音制御部は、所定の状況の認識が開始されたときの前記出力音の反応速度を、前記所定の状況の認識が終了したときの前記出力音の反応速度より速くする
請求項2に記載の自律移動体。 - 前記音制御部は、前記所定の状況の認識が開始されたとき前記出力音を迅速に立ち上げ、前記所定の状況の認識が終了したとき前記出力音を緩やかに停止させる
請求項3に記載の自律移動体。 - 前記所定の状況は、前記自装置の動き又は前記自装置への刺激である
請求項3に記載の自律移動体。 - 前記認識部は、複数の種類のセンサをそれぞれ用いて前記自装置の状況を認識し、
前記音制御部は、前記自装置の状況の認識に用いられた前記センサの種類に基づいて、前記出力音の制御方法を変更する
請求項2に記載の自律移動体。 - 前記音制御部は、前記自装置の状況の認識に用いられた前記センサの特性に応じた制御方法により、前記出力音の制御を行う
請求項6に記載の自律移動体。 - 前記音制御部は、前記組合せ機器の認識結果に基づいて、生成する前記出力音の内容、及び、前記出力音の出力タイミングのうち少なくとも1つを変更する
請求項1に記載の自律移動体。 - 前記音制御部は、前記自装置に組み合わされている前記組合せ機器の種類に対応する内容に前記出力音の内容を変更する
請求項8に記載の自律移動体。 - 前記音制御部は、前記出力音のピッチ、音量、音色、及び、スピードのうち少なくとも1つを変更する
請求項8に記載の自律移動体。 - 前記音制御部は、認識された前記組合せ機器の種類に基づいて、前記出力音の制御方法を変更する
請求項1に記載の自律移動体。 - 前記出力音は、前記自装置の動きに対応して出力される音、又は、前記自装置への刺激に対応して出力される音を含む
請求項1に記載の自律移動体。 - 前記認識部は、1種類以上のセンサからのセンサデータに基づいて、前記組合せ機器の認識を行う
請求項1に記載の自律移動体。 - 前記認識部は、前記センサデータに基づいて認識される前記自装置の動きの変化に基づいて、前記組合せ機器の認識を行う
請求項13に記載の自律移動体。 - 前記組合せ機器は、前記自装置に着脱可能なパーツ、前記自装置を着脱可能な機器、及び、前記自装置が乗ることが可能な移動体のうち少なくとも1つを含む
請求項1に記載の自律移動体。 - 自律移動体と組み合わされている機器である組合せ機器の認識を行い、
前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、
変更した前記制御方法に基づいて、前記出力音の制御を行う
情報処理方法。 - 自律移動体と組み合わされている機器である組合せ機器の認識を行い、
前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、
変更した前記制御方法に基づいて、前記出力音の制御を行う
処理をコンピュータに実行させるためのプログラム。 - 自律移動体と組み合わされている機器である組合せ機器の認識を行う認識部と、
前記組合せ機器の認識結果に基づいて、前記自律移動体から出力する出力音の制御方法を変更し、変更した前記制御方法に基づいて、前記出力音の制御を行う音制御部と
を備える情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/759,025 US20230042682A1 (en) | 2020-01-24 | 2021-01-08 | Autonomous mobile body, information processing method, program, and information processing device |
JP2021573065A JPWO2021149516A1 (ja) | 2020-01-24 | 2021-01-08 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-009701 | 2020-01-24 | ||
JP2020009701 | 2020-01-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021149516A1 true WO2021149516A1 (ja) | 2021-07-29 |
Family
ID=76992952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/000488 WO2021149516A1 (ja) | 2020-01-24 | 2021-01-08 | 自律移動体、情報処理方法、プログラム、及び、情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230042682A1 (ja) |
JP (1) | JPWO2021149516A1 (ja) |
WO (1) | WO2021149516A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023037609A1 (ja) * | 2021-09-10 | 2023-03-16 | ソニーグループ株式会社 | 自律移動体、情報処理方法、及び、プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0739894U (ja) * | 1993-12-28 | 1995-07-18 | 株式会社カワグチ | 音声発生乗り物玩具 |
US20090117816A1 (en) * | 2007-11-07 | 2009-05-07 | Nakamura Michael L | Interactive toy |
JP2017205857A (ja) * | 2016-05-20 | 2017-11-24 | 鴻海精密工業股▲ふん▼有限公司 | インテリジェントロボット |
JP2017207901A (ja) * | 2016-05-18 | 2017-11-24 | 株式会社Nttドコモ | 応答システム及び入出力装置 |
KR20190053491A (ko) * | 2017-11-10 | 2019-05-20 | 연세대학교 산학협력단 | 아동용 로봇 |
WO2019235067A1 (ja) * | 2018-06-05 | 2019-12-12 | ソニー株式会社 | 情報処理装置、情報処理システム、プログラム、及び情報処理方法 |
-
2021
- 2021-01-08 US US17/759,025 patent/US20230042682A1/en active Pending
- 2021-01-08 WO PCT/JP2021/000488 patent/WO2021149516A1/ja active Application Filing
- 2021-01-08 JP JP2021573065A patent/JPWO2021149516A1/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0739894U (ja) * | 1993-12-28 | 1995-07-18 | 株式会社カワグチ | 音声発生乗り物玩具 |
US20090117816A1 (en) * | 2007-11-07 | 2009-05-07 | Nakamura Michael L | Interactive toy |
JP2017207901A (ja) * | 2016-05-18 | 2017-11-24 | 株式会社Nttドコモ | 応答システム及び入出力装置 |
JP2017205857A (ja) * | 2016-05-20 | 2017-11-24 | 鴻海精密工業股▲ふん▼有限公司 | インテリジェントロボット |
KR20190053491A (ko) * | 2017-11-10 | 2019-05-20 | 연세대학교 산학협력단 | 아동용 로봇 |
WO2019235067A1 (ja) * | 2018-06-05 | 2019-12-12 | ソニー株式会社 | 情報処理装置、情報処理システム、プログラム、及び情報処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023037609A1 (ja) * | 2021-09-10 | 2023-03-16 | ソニーグループ株式会社 | 自律移動体、情報処理方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230042682A1 (en) | 2023-02-09 |
JPWO2021149516A1 (ja) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11148294B2 (en) | Autonomously acting robot that maintains a natural distance | |
US11000952B2 (en) | More endearing robot, method of controlling the same, and non-transitory recording medium | |
JP7320239B2 (ja) | 音源の方向を認識するロボット | |
JP7400923B2 (ja) | 情報処理装置および情報処理方法 | |
US20200269421A1 (en) | Information processing device, information processing method, and program | |
US11886970B2 (en) | Apparatus control device, apparatus, apparatus control method, and storage medium | |
JP7120254B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11675360B2 (en) | Information processing apparatus, information processing method, and program | |
JP7259843B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2019163279A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7273566B2 (ja) | ロボット、ロボットの制御方法及びプログラム | |
US11325262B2 (en) | Robot, robot control system, robot control method, and non-transitory storage medium | |
US20230195401A1 (en) | Information processing apparatus and information processing method | |
WO2021149516A1 (ja) | 自律移動体、情報処理方法、プログラム、及び、情報処理装置 | |
JP2024009862A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7428141B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2021090704A1 (ja) | 自律移動体、情報処理方法、プログラム、及び、情報処理装置 | |
US20200346341A1 (en) | Information processing apparatus, information processing method, and program | |
WO2023037609A1 (ja) | 自律移動体、情報処理方法、及び、プログラム | |
WO2023037608A1 (ja) | 自律移動体、情報処理方法、及び、プログラム | |
JPWO2019167400A1 (ja) | 防音装置、ロボット装置、ロボット装置の制御方法及びプログラム | |
WO2022158279A1 (ja) | 自律移動体及び情報処理方法 | |
WO2021131959A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21744337 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021573065 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21744337 Country of ref document: EP Kind code of ref document: A1 |