WO2022158279A1 - 自律移動体及び情報処理方法 - Google Patents

自律移動体及び情報処理方法 Download PDF

Info

Publication number
WO2022158279A1
WO2022158279A1 PCT/JP2021/048959 JP2021048959W WO2022158279A1 WO 2022158279 A1 WO2022158279 A1 WO 2022158279A1 JP 2021048959 W JP2021048959 W JP 2021048959W WO 2022158279 A1 WO2022158279 A1 WO 2022158279A1
Authority
WO
WIPO (PCT)
Prior art keywords
autonomous mobile
mobile body
motion
light emission
control unit
Prior art date
Application number
PCT/JP2021/048959
Other languages
English (en)
French (fr)
Inventor
祐介 川部
淳南 今井
整 橋本
健 片山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022576585A priority Critical patent/JPWO2022158279A1/ja
Priority to US18/261,280 priority patent/US20240066420A1/en
Publication of WO2022158279A1 publication Critical patent/WO2022158279A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • A63H11/18Figure toys which perform a realistic walking motion
    • A63H11/20Figure toys which perform a realistic walking motion with pairs of legs, e.g. horses
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10Controlling the intensity of the light
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20Controlling the colour of the light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls

Definitions

  • This technology relates to an autonomous mobile body and an information processing method, and more particularly to an autonomous mobile body and an information processing method that improve expressiveness.
  • a robot device has been proposed in which a movement pattern is set based on the results of analysis of music data, and a movable part can be moved in time with the music according to the set movement pattern (for example, see Patent Document 1).
  • This technology was created in view of this situation, and is intended to improve the expressive power of autonomous mobile bodies.
  • An autonomous mobile body is an autonomous mobile body that operates autonomously, and includes a light emitting unit that changes the color and brightness of the surface of the autonomous mobile body, and based on the state of the autonomous mobile body and a motion control unit for controlling a light emission pattern, which is a pattern of color and brightness of the light emission unit.
  • An information processing method is a pattern of the color and brightness of a light emitting unit that changes the color and brightness of the surface of an autonomous mobile body based on the state of the autonomous mobile body that operates autonomously. Control the light emission pattern.
  • a light emission pattern which is a pattern of the color and brightness of a light emitting unit that changes the color and brightness of the surface of the autonomous mobile body based on the state of the autonomous mobile body that operates autonomously, controlled.
  • FIG. 1 is a block diagram showing an embodiment of an information processing system to which the present technology is applied;
  • FIG. It is a figure which shows the hardware structural example of an autonomous mobile body. It is a structural example of the actuator with which an autonomous mobile body is provided. It is a figure for demonstrating the function of the display with which an autonomous mobile body is provided. It is a figure which shows the operation example of an autonomous mobile body. It is a figure which shows the example of the light emission area of the exterior of an autonomous mobile body. It is a figure which shows the example of the light emission area of the exterior of an autonomous mobile body. It is a figure which shows the example of the light emission area of the exterior of an autonomous mobile body. It is a figure which shows the example of the light emission area of the exterior of an autonomous mobile body. It is a block diagram which shows the functional structural example of an autonomous mobile body.
  • FIG. 10 is a flowchart for explaining a "jiggle" execution process; FIG. It is a figure which shows the example of the light emission pattern of the fur of an autonomous mobile body.
  • FIG. 11 is a flowchart for explaining a "quadrupedal walking” execution process; FIG. It is a figure which shows the example of the light emission pattern of the clothes of an autonomous mobile body.
  • FIG. 10 is a diagram for explaining changes in the light emission pattern of the light emission area of the right leg during walking; It is a flow chart for explaining a "samba dance” execution process.
  • FIG. 1 is a block diagram showing an embodiment of an information processing system 1 to which the present technology is applied.
  • the information processing system 1 includes autonomous mobile bodies 11-1 to 11-n, information processing terminals 12-1 to 12-n, and an information processing server 13.
  • the autonomous mobile bodies 11-1 to 11-n are simply referred to as the autonomous mobile bodies 11 when there is no need to distinguish them individually.
  • the information processing terminals 12-1 to 12-n are simply referred to as the information processing terminals 12 when there is no need to distinguish them individually.
  • the autonomous mobile body 11 is an information processing device that recognizes the situation of itself and its surroundings based on collected sensor data, etc., and autonomously selects and executes various actions according to the situation.
  • One of the characteristics of the autonomous mobile body 11 is that it autonomously performs an appropriate action according to the situation, unlike a robot that simply follows a user's instructions.
  • the autonomous mobile body 11 can, for example, perform user recognition and object recognition based on captured images, and perform various autonomous actions according to the recognized user and object. Also, the autonomous mobile body 11 can perform voice recognition based on the user's utterance, and can act based on the user's instructions, for example.
  • the autonomous mobile body 11 performs pattern recognition learning in order to acquire the ability to recognize users and objects.
  • the autonomous mobile body 11 can not only perform supervised learning based on given learning data, but also dynamically collect learning data based on instructions from the user or the like, and perform pattern recognition learning related to objects and the like. It is possible.
  • the autonomous mobile body 11 can be trained by the user.
  • the discipline of the autonomous mobile body 11 is broader than, for example, the general discipline of teaching and remembering rules and prohibitions. It means change.
  • the shape, ability, desire, etc. of the autonomous mobile body 11 can be appropriately designed according to its purpose and role.
  • the autonomous mobile body 11 is configured by an autonomous mobile robot that autonomously moves in space and performs various actions.
  • the autonomous mobile body 11 is configured by an autonomous mobile robot having a shape and movement ability that imitates an animal such as a human or a dog.
  • the autonomous mobile body 11 is configured by a vehicle or other device that has the ability to communicate with a user.
  • the information processing terminal 12 is composed of, for example, a smartphone, tablet terminal, PC (personal computer), etc., and is used by the user of the autonomous mobile body 11.
  • the information processing terminal 12 implements various functions by executing a predetermined application program (hereinafter simply referred to as an application).
  • the information processing terminal 12 communicates with the information processing server 13 via the network 21 or directly communicates with the autonomous mobile body 11 to collect various data related to the autonomous mobile body 11 and send it to the user. It presents information and gives instructions to the autonomous mobile body 11 .
  • the information processing server 13 collects various data from each autonomous mobile body 11 and each information processing terminal 12, provides various data to each autonomous mobile body 11 and each information processing terminal 12, and collects various data from each autonomous mobile body 11 and each information processing terminal 12. For example, it controls the operation of the moving body 11 . Further, for example, the information processing server 13 performs pattern recognition learning and processing corresponding to user discipline, similar to the autonomous mobile body 11, based on data collected from each autonomous mobile body 11 and each information processing terminal 12. It is also possible to Further, for example, the information processing server 13 supplies the above-described applications and various data related to each autonomous mobile body 11 to each information processing terminal 12 .
  • the network 21 includes, for example, the Internet, a telephone line network, a public line network such as a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), and WANs (Wide Area Networks). be done.
  • the network 21 may also include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • the network 21 may also include wireless communication networks such as Wi-Fi (registered trademark) and Bluetooth (registered trademark).
  • the configuration of the information processing system 1 can be flexibly changed according to specifications, operation, and the like.
  • the autonomous mobile body 11 may communicate information with various external devices in addition to the information processing terminal 12 and the information processing server 13 .
  • the external device may include, for example, a server that transmits weather, news, and other service information, and various home appliances owned by the user.
  • the autonomous mobile body 11 and the information processing terminal 12 do not necessarily have a one-to-one relationship, and may have a many-to-many, many-to-one, or one-to-many relationship, for example.
  • one user checks data on multiple autonomous mobile bodies 11 using one information processing terminal 12, or checks data on one autonomous mobile body 11 using multiple information processing terminals. It is possible to
  • FIG. 2 is a diagram showing a hardware configuration example of the autonomous mobile body 11.
  • the autonomous mobile body 11 is a dog-shaped quadruped walking robot having a head, a torso, four legs, and a tail.
  • the autonomous mobile body 11 has two displays 51L and 51R on its head.
  • the display 51L and the display 51R are simply referred to as the display 51 when it is not necessary to distinguish them individually.
  • the autonomous mobile body 11 is equipped with various sensors.
  • the autonomous mobile body 11 includes, for example, a microphone 52, a camera 53, a ToF (Time Of Flight) sensor 54, a human sensor 55, a ranging sensor 56, a touch sensor 57, an illuminance sensor 58, a sole button 59, and an inertial sensor. 60.
  • the autonomous mobile body 11 has, for example, four microphones 52 on its head.
  • Each microphone 52 collects ambient sounds, including, for example, user speech and ambient environmental sounds.
  • the autonomous mobile body 11 is equipped with two wide-angle cameras 53, for example, on the tip of the nose and waist, and photographs the surroundings of the autonomous mobile body 11.
  • the camera 53 placed on the tip of the nose takes pictures of the forward field of view of the autonomous mobile body 11 (that is, the dog's field of view).
  • a camera 53 placed on the waist takes pictures of the surroundings centered on the upper side of the autonomous mobile body 11 .
  • the autonomous mobile body 11 can, for example, extract characteristic points of the ceiling based on an image captured by a camera 53 placed on the waist, and realize SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • the ToF sensor 54 for example, is provided at the tip of the nose and detects the distance to an object present in front of the head.
  • the autonomous mobile body 11 can detect the distances to various objects with high accuracy by the ToF sensor 54, and can realize operations according to relative positions with objects including the user and obstacles.
  • the human sensor 55 is placed on the chest, for example, and detects the location of the user or a pet raised by the user. By detecting a moving object in front of the autonomous moving body 11 with the human sensor 55, the autonomous mobile body 11 can perform various actions with respect to the moving object, for example, actions according to emotions such as interest, fear, and surprise. can.
  • the ranging sensor 56 is placed on the chest, for example, and detects the situation of the floor surface in front of the autonomous mobile body 11 .
  • the autonomous mobile body 11 can detect the distance to an object existing on the front floor surface with high accuracy by the distance measuring sensor 56, and can realize an operation according to the relative position with respect to the object.
  • the touch sensor 57 is placed at a site where the user is likely to touch the autonomous mobile body 11, such as the top of the head, under the chin, or on the back, and detects contact by the user.
  • the touch sensor 57 is configured by, for example, a capacitive or pressure-sensitive touch sensor.
  • the autonomous mobile body 11 can detect a contact action such as touching, stroking, tapping, or pushing by the touch sensor 57, and can perform an action according to the contact action.
  • the illuminance sensor 58 is arranged, for example, at the base of the tail on the back of the head, and detects the illuminance of the space in which the autonomous mobile body 11 is located.
  • the autonomous mobile body 11 can detect the ambient brightness with the illuminance sensor 58 and perform operations according to the brightness.
  • the sole buttons 59 are arranged, for example, at portions corresponding to the paw pads of the four legs, and detect whether or not the bottom surface of the leg of the autonomous mobile body 11 is in contact with the floor.
  • the autonomous mobile body 11 can detect contact or non-contact with the floor surface by means of the sole button 59, and can recognize, for example, that it has been picked up by the user.
  • the inertial sensors 60 are arranged, for example, on the head and torso, respectively, and detect physical quantities such as velocity, acceleration, and rotation of the head and torso.
  • the inertial sensor 60 is composed of a 6-axis sensor that detects X-, Y-, and Z-axis accelerations and angular velocities.
  • the autonomous mobile body 11 can detect the movement of the head and torso with high accuracy by the inertial sensor 60, and can realize motion control according to the situation.
  • the configuration of the sensors included in the autonomous mobile body 11 can be flexibly changed according to specifications, operation, and the like.
  • the autonomous mobile body 11 may further include various communication devices such as a temperature sensor, a geomagnetic sensor, and a GNSS (Global Navigation Satellite System) signal receiver in addition to the above configuration.
  • GNSS Global Navigation Satellite System
  • FIG. 3 shows a configuration example of the actuator 71 included in the autonomous mobile body 11.
  • the autonomous moving body 11 has a total of 22 rotational degrees of freedom, two each for the ears and the tail, and one for the mouth, in addition to the rotation points shown in FIG.
  • the autonomous mobile body 11 can perform both nodding and tilting movements by having 3 degrees of freedom in the head.
  • the autonomous mobile body 11 reproduces the swing motion of the waist with the actuator 71 provided on the waist, thereby realizing natural and flexible motions that are closer to those of a real dog.
  • the autonomous mobile body 11 may realize the above 22 rotational degrees of freedom by, for example, combining a 1-axis actuator and a 2-axis actuator.
  • one-axis actuators may be used for the elbows and knees of the legs, and two-axis actuators may be used for the shoulders and the roots of the thighs.
  • the autonomous mobile body 11 has two displays 51R and 51L corresponding to the right eye and left eye, respectively.
  • Each display 51 has a function of visually expressing eye movements and emotions of the autonomous mobile body 11 .
  • each display 51 expresses the movements of the eyeballs, pupils, and eyelids according to emotions and movements, thereby producing natural movements that are close to those of real animals such as dogs, and conveying the line of sight and emotions of the autonomous mobile body 11. It can be expressed with high precision and flexibility. Also, the user can intuitively grasp the state of the autonomous mobile body 11 from the motion of the eyeball displayed on the display 51 .
  • each display 51 is realized by, for example, two independent OLEDs (Organic Light Emitting Diodes).
  • OLED Organic Light Emitting Diodes
  • the autonomous mobile body 11 controls the motions of the joints and eyeballs with high precision and flexibility, thereby reproducing motions and emotional expressions that are closer to those of real living creatures. can be done.
  • FIG. 5 is a diagram showing an operation example of the autonomous mobile body 11, in FIG. The structure is simplified and shown.
  • a plurality of light-emitting devices are arranged in a double-curved shape on the surface of the exterior of the autonomous mobile body 11 in accordance with the shape of the exterior.
  • the light emitting device may be arranged to cover the entire surface of the exterior of the autonomous mobile body 11 or may be arranged to cover a part of the surface of the exterior of the autonomous mobile body 11 .
  • Each light-emitting device is, for example, arbitrarily controllable (color and brightness) LED (Light Emitting Diode) color and brightness (luminous intensity), the color of the surface of the exterior of the autonomous mobile body 11 and change the brightness.
  • a reflector such as silicon
  • diffusing light may be arranged on the surface of an LED that constitutes a light-emitting device.
  • light emitting areas 6 to 8 show examples of areas where light emitting devices are arranged on the surface of the exterior of the autonomous mobile body 11 (hereinafter referred to as light emitting areas).
  • the light-emitting areas are arranged, for example, around movable parts such as joints of the autonomous mobile body 11 .
  • a light emitting area A1 is arranged at the top of the autonomous mobile body 11.
  • a crown is represented by the light emitting area A1.
  • the light emitting area A2L is arranged on the surface of the left ear of the autonomous mobile body 11 .
  • the light emitting area A2R is arranged on the surface of the right ear of the autonomous mobile body 11 .
  • a light emitting area A3 is arranged around the neck of the autonomous mobile body 11.
  • a collar is represented by the light emitting area A3.
  • a V-shaped light emitting area A4 is arranged on the chest of the autonomous mobile body 11.
  • the light emitting area A5L is arranged on the thigh of the left front leg of the autonomous mobile body 11 .
  • the light emitting area A5R is arranged on the thigh of the right front leg of the autonomous mobile body 11 .
  • light emitting areas are also arranged, for example, on the abdomen, back, left rear leg, right rear leg, and tail of the autonomous mobile body 11 .
  • the autonomous mobile body 11 includes a contact information acquisition unit 101 , a motion information acquisition unit 102 , an information processing unit 103 , a driving unit 104 , a light emitting unit 105 , an audio output unit 106 and a display unit 107 .
  • the contact information acquisition unit 101 includes, for example, the touch sensor 57 in FIG. 2, and acquires information (hereinafter referred to as contact information) regarding the act of contact with the autonomous mobile body 11.
  • the contact information includes sensor data output from the touch sensor 57, for example.
  • the contact information acquisition unit 101 supplies the acquired contact information to the information processing unit 103 .
  • the motion information acquisition unit 102 has, for example, the sole button 59 and the inertial sensor 60 shown in FIG.
  • the motion information includes, for example, sensor data output from the sole button 59 and the inertial sensor 60, and control data output from each actuator 71 in FIG.
  • the control data for each actuator 71 includes, for example, data such as rotation direction, rotation speed, and rotation angle.
  • the motion information acquisition unit 102 supplies the acquired motion information to the information processing unit 103 .
  • the information processing unit 103 includes a contact information processing unit 121, a motion information processing unit 122, a motion data holding unit 123, a motion control unit 124, a drive control unit 125, a light emission control unit 126, an audio output control unit 127, and a display control unit. 128.
  • the contact information processing unit 121 processes the contact information supplied from the contact information acquisition unit 101 and detects a contact act on the autonomous mobile body 11 .
  • the contact information processing unit 121 detects the position of contact and the type, intensity, movement, etc. of the contact action.
  • the contact information processing unit 121 supplies the motion control unit 124 with information indicating the detection result of the contact action to the autonomous mobile body 11 .
  • the motion information processing unit 122 processes the motion information supplied from the motion information acquisition unit 102 and detects the motion of the autonomous mobile body 11 .
  • the motion information processing unit 122 detects the position, angle, motion, and the like of a movable part such as a joint part of the autonomous mobile body 11 .
  • the motion information processing unit 122 supplies the motion control unit 124 with information indicating the motion detection result of the autonomous mobile body 11 .
  • the motion data holding unit 123 holds motion data related to various motions of the autonomous mobile body 11 .
  • Motion data includes, for example, driving data, lighting data, audio data, and display data.
  • motion data A(t) corresponding to motion A is time-series motion data A(0), A(1), . include.
  • Motion data A(0) includes m drive data (a1(0), a2(0), . . . am(0)), n light emission data (b1(0), b2(0), , bn(0)), one audio data (c(0)), and two display data (d1(0), d2(0)).
  • the m drive data are used for controlling each actuator 71, for example.
  • the n light emission data are used, for example, for controlling each light emitting device.
  • One audio data is used for controlling audio output.
  • the two pieces of display data are used, for example, to control the displays 51L and 51R.
  • the motion data A(1) consists of m drive data (a1(1), a2(1), . 1), ..., bn(1)), one audio data (c(1)), and two display data (d1(1), d2(1)).
  • motion data A (tend) includes m drive data (a1 (tend), a2 (tend), . . . , am (tend)), n light emission data (b1 (tend), b2 ( tend), .
  • motion data B(t) corresponding to motion B is time-series motion data B(0), B(1), . tend).
  • the value of tend that is, the number of motion data, differs for each motion.
  • the duration of the motion is set according to the number of motion data.
  • the motion control unit 124 controls various motions of the autonomous mobile body 11 based on the state of the autonomous mobile body 11 . For example, the motion control unit 124 selects the motion to be executed by the autonomous mobile body 11 based on the contact action to the autonomous mobile body 11, the movement of the autonomous mobile body 11, and the like. The motion control unit 124 acquires motion data for realizing the selected motion from the motion data holding unit 123 . Also, the motion control unit 124 generates motion data for realizing the selected motion as necessary.
  • the motion control unit 124 implements various motions of the autonomous mobile body 11 based on the acquired or generated motion data. For example, the motion control unit 124 supplies drive data of the motion data to the drive control unit 125, supplies light emission data to the light emission control unit 126, supplies sound data to the sound output control unit 127, and displays display data. It is supplied to the control section 128 . Thereby, the motion control unit 124 controls the motion, light emission pattern, voice output, and facial expression of the autonomous mobile body 11 . Also, the motion control unit 124 controls the timing of supplying each data, thereby interlocking two or more of the motion, light emission pattern, voice output, and facial expression of the autonomous mobile body 11 .
  • digital motion expression the surface expression realized by interlocking a plurality of different elements (movement, light emission pattern, voice output, and facial expression) of the autonomous mobile body 11 will be referred to as digital motion expression.
  • the drive control unit 125 controls the movement of the autonomous mobile body 11 by controlling the drive unit 104 based on the drive data.
  • the light emission control unit 126 controls the light emission pattern, which is the color and brightness pattern of the light emission unit 105, based on the light emission data. Thereby, for example, the color and brightness of each light-emitting area described above are controlled, and the light-emitting expression of the autonomous mobile body 11 is controlled.
  • the audio output control unit 127 controls the audio output of the autonomous mobile body 11 by controlling the audio output unit 106 based on the audio data. As a result, for example, voice representations such as music, barks, and sound effects are controlled.
  • the display control unit 128 controls the facial expression of the autonomous mobile body 11 by controlling the display unit 107 based on the display data.
  • the drive unit 104 includes, for example, the actuator 71 shown in FIG.
  • the driving unit 104 realizes movement of the joints of the autonomous mobile body 11 and the like.
  • the light emitting unit 105 includes, for example, the light emitting device described above.
  • the light-emitting unit 105 realizes the light-emitting expression of the autonomous mobile body 11 by changing the light emission pattern, in other words, by changing the color and brightness of the surface of the autonomous mobile body 11 .
  • the light-emitting unit 105 uses light to emphasize the movement of the autonomous mobile body 11, or to represent patterns such as clothing and fur.
  • the audio output unit 106 includes, for example, an audio generation device, a speaker, and the like.
  • the voice output unit 106 realizes voice representation of the autonomous mobile body 11 by outputting music, barks, sound effects, and the like.
  • the display unit 107 includes, for example, the displays 51L and 51R of FIG.
  • the display unit 107 realizes the visual emotional expression of the autonomous mobile body 11 by moving the eyes of the autonomous mobile body 11 and changing the facial expression.
  • This process is started, for example, when the conditions for the autonomous mobile body 11 to perform "jiggle" are met.
  • the light-emitting unit 105 is set to a light-emitting pattern representing the coat of fur on the body of the autonomous mobile body 11 or the like.
  • step S1 the motion control unit 124 sets the execution motion to "jiggle".
  • step S2 the motion control unit 124 sets the time variable t to 0.
  • step S3 the motion control unit 124 acquires the motion data of the "jiggle" at time t from the motion data holding unit 123.
  • step S4 the autonomous mobile body 11 performs digital motion representation based on the motion data.
  • the motion control unit 124 extracts drive data from the motion data acquired in the process of step S3, and supplies the drive data to the drive control unit 125.
  • the drive control section 125 controls the drive section 104 based on the drive data.
  • the motion control unit 124 extracts light emission data from the motion data acquired in the process of step S3, and supplies it to the light emission control unit 126.
  • the light emission control section 126 controls the light emission section 105 based on the light emission data.
  • the motion control unit 124 extracts audio data from the motion data acquired in the process of step S3 and supplies it to the audio output control unit 127.
  • the audio output control section 127 controls the audio output section 106 based on the audio data.
  • the motion control unit 124 extracts display data from the motion data acquired in the process of step S3, and supplies the display data to the display control unit 128.
  • the display control section 128 controls the display section 107 based on the display data.
  • step S5 the motion control unit 124 determines whether or not the motion has ended. If the value of the time variable t has not reached the end of the motion data, the motion control unit 124 determines that the motion has not ended, and the process proceeds to step S6.
  • step S6 the motion control unit 124 increments the value of the time variable t by one.
  • step S3 After that, the process returns to step S3, and the processes of steps S3 to S6 are repeatedly executed until it is determined in step S5 that the motion has ended.
  • digital motion representation corresponding to jiggle is executed.
  • the light emission pattern of the light emitting unit 105 changes so that the coat of fur sways.
  • a sound effect such as a buzzing sound is output.
  • the facial expression of the autonomous mobile body 11 changes as the autonomous mobile body 11 shakes its body.
  • step S5 if the value of the time variable t has reached tend, the motion control unit 124 determines that the motion has ended, and ends the "jiggle" execution process.
  • the light emitting unit 105 returns to the light emission pattern representing the coat before the execution of the jiggle.
  • This process is started, for example, when the conditions for the autonomous mobile body 11 to execute "quadrupedal walking" are met.
  • the light emitting unit 105 is set to a light emitting pattern representing the coat of fur on the body of the autonomous mobile body 11 or the like.
  • the light-emitting units 105 are set to light-emitting patterns representing clothes.
  • step S51 the motion control unit 124 sets the execution motion to "quadruped walking".
  • step S52 the motion control unit 124 sets the time variable t to 0.
  • step S53 the motion control unit 124 acquires the motion data at time t of the "quadrupedal walking" from the motion data holding unit 123.
  • step S54 digital motion representation is performed based on the motion data, similar to the processing in step S4 of FIG.
  • step S55 the autonomous mobile body 11 detects the movement of the joints. Specifically, the motion information acquisition unit 102 acquires motion information regarding the motion of the autonomous mobile body 11 from the sole button 59 , the inertial sensor 60 , and the actuator 71 . The motion information acquisition unit 102 supplies the acquired motion information to the motion information processing unit 122 .
  • the motion information processing unit 122 detects the motion of the joints of the autonomous mobile body 11 based on the motion information.
  • the motion information processing unit 122 supplies information indicating the detected motion of the joint to the motion control unit 124 .
  • step S56 the motion control unit 124 generates light emission data linked to movement.
  • the motion control section 124 supplies the generated light emission data to the light emission control section 126 .
  • step S57 the light emission control unit 126 performs light emission control based on the light emission data. That is, the light emission control section 126 controls the light emission pattern of the light emission section 105 based on the light emission data.
  • step S58 it is determined whether or not the motion has ended, similar to the processing in step S5 of FIG. If it is determined that the motion has not ended, the process proceeds to step S59.
  • step S59 the motion control unit 124 increments the value of the time variable t by one.
  • step S53 After that, the process returns to step S53, and the processes of steps S53 to S59 are repeatedly executed until it is determined in step S58 that the motion has ended.
  • the light emission pattern of the light emitting unit 105 changes in conjunction with the movement of the legs of the autonomous mobile body 11 .
  • the direction in which the leg of the autonomous mobile body 11 moves and the direction in which the light emission pattern changes in the leg are interlocked.
  • the light emitting area A5R of the right front leg moves upward.
  • the light emitting area A5R of the right front leg moves downward as the autonomous mobile body 11 lowers the right front leg.
  • illustration is omitted, the light-emitting areas of the other legs also move up and down in accordance with the timing of raising and lowering the legs.
  • the brightness of the light-emitting area of the landing leg changes according to the timing when each leg lands. Specifically, for example, when each leg lands, the luminous area of the leg that has landed brightens and then returns to its original state.
  • the walking speed of the autonomous mobile body 11 and the speed at which the light emitting pattern of the light emitting area of each leg changes are interlocked. For example, the faster the person walks, the more intense (faster) the change in the light emission pattern, and the slower the person walks, the more gradual (the slower) the change in the light emission pattern.
  • the timing at which the autonomous mobile body starts and stops walking is synchronized with the timing at which the light emission pattern of the light emitting area of each leg starts and stops changing.
  • the light-emitting area of each leg emits light in a light-emitting pattern that gives an image of a preparatory motion to apply force to the muscles.
  • the light-emitting area of each leg emits light in a light-emitting pattern expressing trembling as if braking.
  • an operation sound representing the movement of the legs is output.
  • the expressive power of the autonomous mobile body 11 is improved.
  • the walking motion of the autonomous mobile body 11 gives a stronger impression to the user, thereby improving the user's satisfaction.
  • step S58 if it is determined in step S58 that the motion has ended, the "quadruped walking" execution process ends.
  • This process is started, for example, when the conditions for the autonomous mobile body 11 to perform "samba dance" are met.
  • the light-emitting units 105 are set to a light-emitting pattern representing clothes on the head, body, legs, etc. of the autonomous mobile body 11 .
  • the autonomous mobile body 11 may be equipped with a costume that gives an image of samba.
  • step S101 the motion control unit 124 sets the execution motion to "samba dance".
  • step S102 the motion control unit 124 sets the time variable t to 0.
  • step S103 the motion control unit 124 acquires the motion data of the "samba dance" at time t from the motion data holding unit 123.
  • step S104 digital motion representation is performed based on the motion data, similar to the processing in step S4 of FIG.
  • step S105 motion of the joints is detected in the same manner as in step S55 of FIG.
  • step S106 similarly to the process of step S56 in FIG. 12, light emission data linked to movement is generated.
  • step S107 light emission control is performed based on the light emission data, similar to the process of step S57 in FIG.
  • step S108 it is determined whether or not the motion has ended, similar to the process in step S5 of FIG. If it is determined that the motion has not ended, the process proceeds to step S109.
  • step S109 the motion control unit 124 increments the value of the time variable t by one.
  • step S103 After that, the process returns to step S103, and the processes from step S103 to step S109 are repeatedly executed until it is determined in step S108 that the motion has ended.
  • a digital motion expression corresponding to the samba dance is executed.
  • the autonomous mobile body 11 outputs samba music and dances to the music. More specifically, for example, the autonomous mobile body 11 shakes its body to the rhythm of samba. For example, the light emission pattern changes so that the clothes change rhythmically in accordance with the body swaying of the autonomous mobile body 11 .
  • the light-emitting pattern of the light-emitting area of each leg changes according to the delicate movements of each leg. For example, the number of light-emitting devices that emit light, the intensity of the light, and the color change.
  • the light emitting unit 105 may change the color and brightness of the light that illuminates the costume in conjunction with the movement of the autonomous mobile body 11. good.
  • the light emission control unit 126 may change the color and brightness of the costume in conjunction with the movement of the autonomous mobile body 11 or the like.
  • the performance of the samba dance of the autonomous mobile body 11 becomes gorgeous, and the expressive power of the autonomous mobile body 11 is improved.
  • the movement of the autonomous mobile body 11 gives a strong impression to the user, and the user's satisfaction is improved.
  • step S108 if it is determined in step S108 that the motion has ended, the "samba dance" execution process ends.
  • the light emitting unit 105 returns to the light emitting pattern representing the costume before the samba dance.
  • This process is started, for example, when the conditions for the autonomous mobile body 11 to perform "relaxation" are satisfied.
  • the light emitting unit 105 is set to a light emitting pattern representing the coat of fur on the body of the autonomous mobile body 11 or the like.
  • the motion control unit 124 sets the execution motion to "relax".
  • step S152 the motion control unit 124 sets the time variable t to 0.
  • step S153 the motion control unit 124 acquires the motion data at the "relaxation" time t from the motion data holding unit 123.
  • step S154 digital motion representation is performed based on the motion data, similar to the processing in step S4 of FIG.
  • step S155 the contact information acquisition unit 101 acquires contact information. Specifically, the contact information acquisition unit 101 acquires contact information related to the act of contacting the autonomous mobile body 11 from the touch sensor 57 . The contact information acquisition unit 101 supplies the acquired contact information to the contact information processing unit 121 .
  • step S156 the contact information processing unit 121 determines whether or not the autonomous mobile body 11 is being stroked based on the contact information. If it is determined that the autonomous mobile body 11 is stroked, the process proceeds to step S157.
  • the contact information processing unit 121 detects the stroke method based on the contact information. For example, the contact information processing unit 121 detects the direction in which the autonomous mobile body 11 is stroked. More specifically, for example, the contact information processing unit 121 detects whether the person is being stroked in the same direction as the direction of the coat of fur or whether the person is being stroked in the direction opposite to the direction of the coat of fur. Also, for example, the contact information processing unit 121 detects the strength of stroking. More specifically, for example, the contact information processing unit 121 detects whether the user is gently stroked or strongly stroked. The contact information processing unit 121 supplies the motion control unit 124 with information indicating the detection result of the stroke.
  • the contact information processing unit 121 supplies the motion control unit 124 with information indicating the detection result of the stroke.
  • step S158 the motion control unit 124 generates motion data corresponding to the stroking method.
  • the motion control unit 124 generates motion data based on the relationship between the direction of the fur and the direction being stroked, the strength of the stroke, and the like.
  • the motion control unit 124 controls the motion as shown in A of FIG.
  • Light emission data representing a light emission pattern simulating the grooming of hair is generated.
  • the motion control unit 124 generates audio data simulating a bark indicating a happy emotion.
  • the motion control unit 124 generates display data simulating a facial expression showing a happy emotion, as shown in FIG. 17B.
  • the motion control unit 124 when a predetermined portion (for example, the back) of the autonomous mobile body 11 is strongly stroked in a direction opposite to the direction of the fur, the motion control unit 124, for example, changes the fur as shown in FIG. 17C. light emission data representing a light emission pattern simulating the disturbance of the Also, for example, the motion control unit 124 generates audio data simulating a bark that expresses disgust. Furthermore, for example, the motion control unit 124 generates display data simulating a facial expression showing disgust, as shown in FIG. 17D.
  • the motion control unit 124 supplies the generated light emission data to the light emission control unit 126, supplies the generated sound data to the sound output control unit 127, and supplies the generated display data to the display control unit 128.
  • step S159 digital motion representation is performed based on the motion data, similar to the process in step S4 of FIG.
  • step S156 determines whether the autonomous mobile body 11 has been stroked. If it is determined in step S156 that the autonomous mobile body 11 has not been stroked, steps S157 to S159 are skipped, and the process proceeds to step S160.
  • step S160 it is determined whether or not the motion has ended, similar to the process in step S5 of FIG. If it is determined that the motion has not ended, the process proceeds to step S161.
  • step S161 the motion control unit 124 increments the value of the time variable t by one.
  • step S153 After that, the process returns to step S153, and the processes from step S153 to step S160 are repeatedly executed until it is determined in step S160 that the motion has ended.
  • a digital motion expression is executed that shows the reaction to the user's stroking action.
  • the light emission pattern changes so that the fur naturally flutters.
  • a predetermined portion for example, the back
  • the light emission pattern changes so as to smooth the coat of fur.
  • the autonomous mobile body 11 makes a happy expression or emits a happy cry.
  • the autonomous mobile body 11 when the user strongly strokes a predetermined portion (for example, the back) of the autonomous mobile body 11 in the direction opposite to the direction of the fur, the light emission pattern changes so that the fur is disturbed.
  • the autonomous moving body 11 makes a disgusting expression or emits a disgusting cry.
  • step S160 if it is determined in step S160 that the motion has ended, the "relaxation" execution process ends.
  • the autonomous mobile body 11 performs digital motion expression, thereby improving the expressive power of the autonomous mobile body 11.
  • the movement of the autonomous mobile body 11 can be visually and audibly emphasized, and the visual and audible performance effects can be enhanced.
  • the movement of the body of the autonomous mobile body 11 and the sense of rhythm of music such as samba can be made easier to understand.
  • the cuteness of the autonomous mobile body 11 can be emphasized. For example, by changing the coat of fur in response to stroking the autonomous mobile body 11, it is possible to bring the expressiveness closer to that of a real creature (in this example, a dog).
  • the individuality of the autonomous mobile body 11 can be expressed.
  • the individuality of each autonomous mobile body 11 can be expressed by expressing patterns such as coat of fur and clothing with the light emitting unit 105, changing the patterns depending on the situation, and giving individual differences to the patterns. can.
  • each autonomous mobile body 11 is differentiated from other autonomous mobile bodies 11, and it is assumed that the user's attachment to the autonomous mobile body 11 increases.
  • the configuration of the light emitting unit 105 is not limited to the example described above.
  • the light emitting unit 105 may change the color and brightness of the surface of the autonomous mobile body 11 by projecting an image, light, or the like from inside the autonomous mobile body 11 to the exterior.
  • the autonomous mobile body 11 may change its facial expression by moving parts other than its eyes (eg, mouth, ears, nose, etc.).
  • the autonomous mobile body 11 may express digital motion (for example, dancing) in time with music output from the outside.
  • digital motion for example, dancing
  • the information processing terminal 12 or the information processing server 13 is provided with part or all of the information processing unit 103 in FIG. You can do it.
  • contact information and motion information, or information indicating the detection result of the contact action and the motion of the autonomous mobile body 11 is transmitted from the autonomous mobile body 11 to the information processing terminal 12 or the information processing server 13 .
  • motion data is transmitted from the information processing terminal 12 or the information processing server 13 to the autonomous mobile body 11 .
  • This technology can be applied, for example, to autonomous mobile bodies that imitate creatures other than dogs (for example, humans, cats, insects, fish, etc.).
  • the present technology can also be applied to autonomous mobile objects that imitate fictitious creatures or anthropomorphic objects, for example.
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a computer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 18 is a block diagram showing a hardware configuration example of a computer that executes the series of processes described above by a program.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 1005 is further connected to the bus 1004 .
  • An input unit 1006 , an output unit 1007 , a storage unit 1008 , a communication unit 1009 and a drive 1010 are connected to the input/output interface 1005 .
  • the input unit 1006 consists of input switches, buttons, a microphone, an imaging device, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • Storage unit 1008 includes a hard disk, a nonvolatile memory, or the like.
  • a communication unit 1009 includes a network interface and the like.
  • a drive 1010 drives a removable medium 1011 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 1001 loads, for example, a program recorded in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the program. A series of processes are performed.
  • the program executed by the computer 1000 can be provided by being recorded on removable media 1011 such as package media, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input/output interface 1005 by loading the removable medium 1011 into the drive 1010 . Also, the program can be received by the communication unit 1009 and installed in the storage unit 1008 via a wired or wireless transmission medium. In addition, programs can be installed in the ROM 1002 and the storage unit 1008 in advance.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • this technology can take the configuration of cloud computing in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • an autonomous mobile body that operates autonomously, a light emitting unit that changes the color and brightness of the surface of the autonomous mobile body;
  • An autonomous mobile body comprising: a motion control section that controls a light emission pattern, which is a pattern of color and brightness of the light emitting section, based on the state of the autonomous mobile body.
  • the motion control unit interlocks the movement of the autonomous mobile body and the light emission pattern.
  • the motion control unit changes the light emission pattern so as to emphasize motion of the autonomous mobile body.
  • the motion control unit interlocks the movement of the leg of the autonomous mobile body with the light emission pattern.
  • the motion control unit changes the pattern represented by the light emission pattern based on the state of the autonomous mobile body.
  • the pattern represents at least one of clothing and fur of the autonomous mobile body.
  • the motion control unit changes the coat represented by the light emission pattern based on a relationship between the direction of the coat and the direction in which the autonomous mobile body is stroked.
  • the motion control unit controls at least one of facial expressions and cries of the autonomous mobile body based on the relationship between the direction of the fur and the direction in which the autonomous mobile body is stroked. (14) or (15) The autonomous mobile body described in . (17) The autonomous mobile body according to any one of (1) to (16), wherein the light emitting unit is arranged on the surface of the autonomous mobile body and includes a plurality of light emitting devices that are variable in color and brightness. (18) An information processing method for controlling a light emission pattern, which is a pattern of color and brightness of a light emitting unit that changes the color and brightness of the surface of the autonomous mobile body, based on the state of the autonomous mobile body operating autonomously.
  • 1 information processing system 11-1 to 11-n autonomous mobile body, 12-1 to 12-n information processing terminal, 13 information processing server, 51L, 51R display, 57 touch sensor, 59 sole button, 60 inertial sensor, 71 actuator, 101 contact information acquisition unit, 102 motion information acquisition unit, 103 information processing unit, 104 drive unit, 105 light emitting unit, 106 audio output unit, 107 display unit, 121 contact information processing unit, 122 motion information processing unit, 123 Motion data holding unit, 124 motion control unit, 125 drive control unit, 126 light emission control unit, 127 audio output control unit, 128 display control unit

Abstract

本技術は、自律移動体の表現力を向上させることができるようにする自律移動体及び情報処理方法に関する。 自律移動体は、自律的に動作する自律移動体であって、前記自律移動体の表面の色及び明るさを変化させる発光部と、前記自律移動体の状態に基づいて、前記発光部の色及び明るさのパターンである発光パターンを制御するモーション制御部とを備える。本技術は、例えば、生物を模した自律移動型ロボットに適用できる。

Description

自律移動体及び情報処理方法
 本技術は、自律移動体及び情報処理方法に関し、特に、表現力を向上させるようにした自律移動体及び情報処理方法に関する。
 近年、エンタテイメントロボット等のユーザとのインタラクションが可能な自律移動体に対して、ユーザの満足度を向上させるために表現力の向上が望まれている。
 これに対して、例えば、音楽データを分析した結果に基づいて動きパターンを設定し、設定した動きパターンに応じて、音楽に合わせて可動部を動かすことが可能なロボット装置が提案されている(例えば、特許文献1参照)。
特開2008-90013号公報
 しかしながら、従来の自律移動体では、例えば、動きの表現が関節部等の可動部の動きによるものにとどまっていた。
 本技術は、このような状況に鑑みてなされたものであり、自律移動体の表現力を向上させるようにするものである。
 本技術の一側面の自律移動体は、自律的に動作する自律移動体であって、前記自律移動体の表面の色及び明るさを変化させる発光部と、前記自律移動体の状態に基づいて、前記発光部の色及び明るさのパターンである発光パターンを制御するモーション制御部とを備える。
 本技術の一側面の情報処理方法は、自律的に動作する自律移動体の状態に基づいて、前記自律移動体の表面の色及び明るさを変化させる発光部の色及び明るさのパターンである発光パターンを制御する。
 本技術の一側面においては、自律的に動作する自律移動体の状態に基づいて、前記自律移動体の表面の色及び明るさを変化させる発光部の色及び明るさのパターンである発光パターンが制御される。
本技術を適用した情報処理システムの一実施の形態を示すブロック図である。 自律移動体のハードウエア構成例を示す図である。 自律移動体が備えるアクチュエータの構成例である。 自律移動体が備えるディスプレイの機能について説明するための図である。 自律移動体の動作例を示す図である。 自律移動体の外装の発光エリアの例を示す図である。 自律移動体の外装の発光エリアの例を示す図である。 自律移動体の外装の発光エリアの例を示す図である。 自律移動体の機能構成例を示すブロック図である。 「ジグル」実行処理を説明するためのフローチャートである。 自律移動体の毛並みの発光パターンの例を示す図である。 「四足歩行」実行処理を説明するためのフローチャートである。 自律移動体の衣装の発光パターンの例を示す図である。 歩行時の右脚の発光エリアの発光パターンの変化を説明するための図である。 「サンバダンス」実行処理を説明するためのフローチャートである。 「くつろぎ」実行処理を説明するためのフローチャートである。 自律移動体を撫でた場合の毛並み及び表情の変化を説明するための図である。 コンピュータの構成例を示す図である。
 以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
 1.実施の形態
 2.変形例
 3.その他
 <<1.実施の形態>>
 図1乃至図17を参照して、本技術の実施の形態について説明する。
  <情報処理システム1の構成例>
 図1は、本技術を適用した情報処理システム1の一実施の形態を示すブロック図である。
 情報処理システム1は、自律移動体11-1乃至自律移動体11-n、情報処理端末12-1乃至情報処理端末12-n、及び、情報処理サーバ13を備える。
 なお、以下、自律移動体11-1乃至自律移動体11-nを個々に区別する必要がない場合、単に自律移動体11と称する。以下、情報処理端末12-1乃至情報処理端末12-nを個々に区別する必要がない場合、単に情報処理端末12と称する。
 各自律移動体11と情報処理サーバ13との間、各情報処理端末12と情報処理サーバ13との間、各自律移動体11と各情報処理端末12との間、各自律移動体11間、及び、各情報処理端末12間において、ネットワーク21を介した通信が可能である。また、各自律移動体11と各情報処理端末12との間、各自律移動体11間、及び、各情報処理端末12間においては、ネットワーク21を介さずに直接通信することも可能である。
 自律移動体11は、収集したセンサデータ等に基づいて、自分及び周囲の状況を認識し、状況に応じた種々の動作を自律的に選択し、実行する情報処理装置である。自律移動体11は、単にユーザの指示に従った動作を行うロボットとは異なり、状況に応じた適切な動作を自律的に実行することを特徴の一つとする。
 自律移動体11は、例えば、撮影した画像に基づくユーザ認識や、物体認識等を実行し、認識したユーザや物体等に応じた種々の自律行動を行うことが可能である。また、自律移動体11は、例えば、ユーザの発話に基づく音声認識を実行し、ユーザの指示などに基づく行動を行うこともできる。
 さらに、自律移動体11は、ユーザ認識や物体認識の能力を獲得するために、パターン認識学習を行う。この際、自律移動体11は、与えられた学習データに基づく教師学習だけでなく、ユーザ等による教示に基づいて、動的に学習データを収集し、物体などに係るパターン認識学習を行うことが可能である。
 また、自律移動体11は、ユーザにより躾けられることができる。ここで、自律移動体11の躾とは、例えば、決まりや禁止事項を教えて覚えさせる一般的な躾より広く、ユーザが自律移動体11に関わることにより、自律移動体11にユーザが感じられる変化が表れることをいう。
 自律移動体11の形状、能力、欲求等のレベルは、目的や役割に応じて適宜設計され得る。例えば、自律移動体11は、空間内を自律的に移動し、種々の動作を実行する自律移動型ロボットにより構成される。具体的には、例えば、自律移動体11は、ヒトやイヌなどの動物を模した形状や動作能力を有する自律移動型ロボットにより構成される。また、例えば、自律移動体11は、ユーザとのコミュニケーション能力を有する車両やその他の装置により構成される。
 情報処理端末12は、例えば、スマートフォン、タブレット端末、PC(パーソナルコンピュータ)等からなり、自律移動体11のユーザにより使用される。情報処理端末12は、所定のアプリケーションプログラム(以下、単にアプリケーションと称する)を実行することにより、各種の機能を実現する。例えば、情報処理端末12は、ネットワーク21を介して情報処理サーバ13と通信を行ったり、自律移動体11と直接通信を行ったりして、自律移動体11に関する各種のデータを収集し、ユーザに提示したり、自律移動体11に指示を与えたりする。
 情報処理サーバ13は、例えば、各自律移動体11及び各情報処理端末12から各種のデータを収集したり、各自律移動体11及び各情報処理端末12に各種のデータを提供したり、各自律移動体11の動作を制御したりする。また、例えば、情報処理サーバ13は、各自律移動体11及び各情報処理端末12から収集したデータに基づいて、自律移動体11と同様に、パターン認識学習や、ユーザの躾に対応した処理を行うことも可能である。さらに、例えば、情報処理サーバ13は、上述したアプリケーションや各自律移動体11に関する各種のデータを各情報処理端末12に供給する。
 ネットワーク21は、例えば、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)等のいくつかにより構成される。また、ネットワーク21は、IP-VPN(Internet Protocol-Virtual Private Network)等の専用回線網を含んでもよい。また、ネットワーク21は、Wi-Fi(登録商標)、Bluetooth(登録商標)等の無線通信網を含んでもよい。
 なお、情報処理システム1の構成は、仕様や運用等に応じて柔軟に変更され得る。例えば、自律移動体11は、情報処理端末12及び情報処理サーバ13の他に、種々の外部装置とさらに情報通信を行ってもよい。上記の外部装置には、例えば、天気やニュース、その他のサービス情報を発信するサーバや、ユーザが所持する各種の家電機器などが含まれ得る。
 また、例えば、自律移動体11と情報処理端末12とは、必ずしも一対一の関係である必要はなく、例えば、多対多、多対一、又は、一対多の関係であってもよい。例えば、1人のユーザが、1台の情報処理端末12を用いて複数の自律移動体11に関するデータを確認したり、複数の情報処理端末を用いて1台の自律移動体11に関するデータを確認したりすることが可能である。
  <自律移動体11のハードウエア構成例>
 次に、自律移動体11のハードウエア構成例について説明する。なお、以下では、自律移動体11がイヌ型の四足歩行ロボットである場合を例に説明する。
 図2は、自律移動体11のハードウエア構成例を示す図である。自律移動体11は、頭部、胴部、4つの脚部、及び、尾部を備えるイヌ型の四足歩行ロボットである。
 自律移動体11は、頭部に2つのディスプレイ51L及びディスプレイ51Rを備える。なお、以下、ディスプレイ51Lとディスプレイ51Rを個々に区別する必要がない場合、単にディスプレイ51と称する。
 また、自律移動体11は、種々のセンサを備える。自律移動体11は、例えば、マイクロフォン52、カメラ53、ToF(Time Of Flight)センサ54、人感センサ55、測距センサ56、タッチセンサ57、照度センサ58、足裏ボタン59、及び、慣性センサ60を備える。
 自律移動体11は、例えば、頭部に4つのマイクロフォン52を備える。各マイクロフォン52は、例えば、ユーザの発話や、周囲の環境音を含む周囲の音を収集する。また、複数のマイクロフォン52を備えることで、周囲で発生する音を感度高く収集すると共に、音源定位が可能となる。
 自律移動体11は、例えば、鼻先と腰部に2つの広角のカメラ53を備え、自律移動体11の周囲を撮影する。例えば、鼻先に配置されたカメラ53は、自律移動体11の前方視野(すなわち、イヌの視野)内の撮影を行う。腰部に配置されたカメラ53は、自律移動体11の上方を中心とする周囲の撮影を行う。自律移動体11は、例えば、腰部に配置されたカメラ53により撮影された画像に基づいて、天井の特徴点などを抽出し、SLAM(Simultaneous Localization and Mapping)を実現することができる。
 ToFセンサ54は、例えば、鼻先に設けられ、頭部前方に存在する物体との距離を検出する。自律移動体11は、ToFセンサ54により種々の物体との距離を精度高く検出することができ、ユーザを含む対象物や障害物などとの相対位置に応じた動作を実現することができる。
 人感センサ55は、例えば、胸部に配置され、ユーザやユーザが飼育するペットなどの所在を検知する。自律移動体11は、人感センサ55により前方に存在する動物体を検知することで、当該動物体に対する種々の動作、例えば、興味、恐怖、驚きなどの感情に応じた動作を実現することができる。
 測距センサ56は、例えば、胸部に配置され、自律移動体11の前方床面の状況を検出する。自律移動体11は、測距センサ56により前方床面に存在する物体との距離を精度高く検出することができ、当該物体との相対位置に応じた動作を実現することができる。
 タッチセンサ57は、例えば、頭頂、あご下、背中など、ユーザが自律移動体11に触れる可能性が高い部位に配置され、ユーザによる接触を検知する。タッチセンサ57は、例えば、静電容量式や感圧式のタッチセンサにより構成される。自律移動体11は、タッチセンサ57により、ユーザの触れる、撫でる、叩く、押すなどの接触行為を検知することができ、当該接触行為に応じた動作を行うことができる。
 照度センサ58は、例えば、頭部背面において尾部の付け根などに配置され、自律移動体11が位置する空間の照度を検出する。自律移動体11は、照度センサ58により周囲の明るさを検出し、当該明るさに応じた動作を実行することができる。
 足裏ボタン59は、例えば、4つの脚部の肉球に該当する部位にそれぞれ配置され、自律移動体11の脚部底面が床と接触しているか否かを検知する。自律移動体11は、足裏ボタン59により床面との接触または非接触を検知することができ、例えば、ユーザにより抱き上げられたことなどを把握することができる。
 慣性センサ60は、例えば、頭部および胴部にそれぞれ配置され、頭部や胴部の速度、加速度、回転等の物理量を検出する。例えば、慣性センサ60は、X軸、Y軸、Z軸の加速度および角速度を検出する6軸センサにより構成される。自律移動体11は、慣性センサ60により頭部および胴部の運動を精度高く検出し、状況に応じた動作制御を実現することができる。
 なお、自律移動体11が備えるセンサの構成は、仕様や運用等に応じて柔軟に変更され得る。例えば、自律移動体11は、上記の構成のほか、例えば、温度センサ、地磁気センサ、GNSS(Global Navigation Satellite System)信号受信機を含む各種の通信装置などをさらに備えてよい。
 次に、図3を参照して、自律移動体11の関節部の構成例について説明する。図3は、自律移動体11が備えるアクチュエータ71の構成例を示している。自律移動体11は、図3に示す回転箇所に加え、耳部と尾部に2つずつ、口に1つの合計22の回転自由度を有する。
 例えば、自律移動体11は、頭部に3自由度を有することで、頷きや首を傾げる動作を両立することができる。また、自律移動体11は、腰部に備えるアクチュエータ71により、腰のスイング動作を再現することで、より現実のイヌに近い自然かつ柔軟な動作を実現することができる。
 なお、自律移動体11は、例えば、1軸アクチュエータと2軸アクチュエータを組み合わせることで、上記の22の回転自由度を実現してもよい。例えば、脚部における肘や膝部分においては1軸アクチュエータを、肩や大腿の付け根には2軸アクチュエータをそれぞれ採用してもよい。
 次に、図4を参照して、自律移動体11が備えるディスプレイ51の機能について説明する。
 自律移動体11は、右眼および左眼にそれぞれ相当する2つのディスプレイ51R及びディスプレイ51Lを備える。各ディスプレイ51は、自律移動体11の目の動きや感情を視覚的に表現する機能を備える。例えば、各ディスプレイ51は、感情や動作に応じた眼球、瞳孔、瞼の動作を表現することで、実在するイヌなどの動物に近い自然な動作を演出し、自律移動体11の視線や感情を高精度かつ柔軟に表現することができる。また、ユーザは、ディスプレイ51に表示される眼球の動作から、自律移動体11の状態を直観的に把握することができる。
 また、各ディスプレイ51は、例えば、独立した2つのOLED(Organic Light Emitting Diode)により実現される。OLEDを用いることにより、眼球の曲面を再現することが可能となる。その結果、1枚の平面ディスプレイにより一対の眼球を表現する場合や、2枚の独立した平面ディスプレイにより2つの眼球をそれぞれ表現する場合と比較して、より自然な外装を実現することができる。
 自律移動体11は、上記の構成により、図5に示されるように、関節部や眼球の動作を精度高く、柔軟に制御することで、より実在の生物に近い動作及び感情表現を再現することができる。
 なお、図5は、自律移動体11の動作例を示す図であるが、図5では、自律移動体11の関節部及び眼球の動作について着目して説明を行うため、自律移動体11の外部構造を簡略化して示している。
 次に、自律移動体11の外装の発光部の構成例について説明する。
 自律移動体11の外装の表面には、外装形状に合わせて複数の発光デバイスが複曲面形状に配置されている。発光デバイスは、自律移動体11の外装の表面全体をカバーするように配置されてもよいし、自律移動体11の外装の表面の一部をカバーするように配置されてもよい。
 各発光デバイスは、例えば、色及び明るさ(光度)を任意に制御可能な(色及び明るさが可変の)LED(Light Emitting Diode)により構成され、自律移動体11の外装の表面の色及び明るさを変化させる。発光デバイスを構成するLEDの表面には、例えば、光を拡散するための反射物(例えば、シリコン等)が配置される場合がある。
 図6乃至図8は、自律移動体11の外装の表面に発光デバイスが配置されるエリア(以下、発光エリアと称する)の例を示している。
 発光エリアは、例えば、自律移動体11の関節部等の可動部の周辺等に配置される。例えば、図6に示されるように、自律移動体11の頭頂部に発光エリアA1が配置される。発光エリアA1により、例えば、冠が表現される。例えば、自律移動体11の左耳の表面に発光エリアA2Lが配置される。例えば、自律移動体11の右耳の表面に発光エリアA2Rが配置される。
 例えば、図7に示されるように、自律移動体11の首の周囲に発光エリアA3が配置される。発光エリアA3により、例えば、首輪が表現される。
 例えば、図8に示されるように、自律移動体11の胸部に、V字型の発光エリアA4が配置される。例えば、自律移動体11の左前脚の太腿に発光エリアA5Lが配置される。例えば、自律移動体11の右前脚の太腿に発光エリアA5Rが配置される。
 なお、図示は省略するが、他にも、例えば、自律移動体11の腹部、背中、左後脚、右後脚、及び、尾部等に発光エリアが配置される。
  <自律移動体11の機能構成例>
 次に、図9を参照して、自律移動体11の機能構成例について説明する。自律移動体11は、接触情報取得部101、動き情報取得部102、情報処理部103、駆動部104、発光部105、音声出力部106、及び、表示部107を備える。
 接触情報取得部101は、例えば、図2のタッチセンサ57を備え、自律移動体11への接触行為に関する情報(以下、接触情報と称する)を取得する。接触情報は、例えば、タッチセンサ57から出力されるセンサデータを含む。接触情報取得部101は、取得した接触情報を情報処理部103に供給する。
 動き情報取得部102は、例えば、図2の足裏ボタン59及び慣性センサ60を備え、自律移動体11の動きに関する動き情報を取得する。動き情報は、例えば、足裏ボタン59及び慣性センサ60から出力されるセンサデータ、並びに、図3の各アクチュエータ71から出力される制御データを含む。各アクチュエータ71の制御データは、例えば、回転方向、回転速度、及び、回転角等のデータを含む。動き情報取得部102は、取得した動き情報を情報処理部103に供給する。
 情報処理部103は、接触情報処理部121、動き情報処理部122、モーションデータ保持部123、モーション制御部124、駆動制御部125、発光制御部126、音声出力制御部127、及び、表示制御部128を備える。
 接触情報処理部121は、接触情報取得部101から供給される接触情報の処理を行い、自律移動体11への接触行為を検知する。例えば、接触情報処理部121は、接触された位置、並びに、接触行為の種類、強度、及び、動き等を検知する。接触情報処理部121は、自律移動体11への接触行為の検知結果を示す情報をモーション制御部124に供給する。
 動き情報処理部122は、動き情報取得部102から供給される動き情報の処理を行い、自律移動体11の動きを検知する。例えば、動き情報処理部122は、自律移動体11の関節部等の可動部の位置、角度、及び、動き等を検知する。動き情報処理部122は、自律移動体11の動きの検知結果を示す情報をモーション制御部124に供給する。
 モーションデータ保持部123は、自律移動体11の各種のモーションに関するモーションデータを保持する。モーションデータは、例えば、駆動データ、発光データ、音声データ、及び、表示データを含む。
 例えば、モーションAに対応するモーションデータA(t)は、所定の時間間隔(例えば、10ms)毎の時系列のモーションデータA(0)、A(1)、・・・、A(tend)を含む。
 モーションデータA(0)は、m個の駆動データ(a1(0)、a2(0)、・・・、am(0))、n個の発光データ(b1(0)、b2(0)、・・・、bn(0))、1個の音声データ(c(0))、2個の表示データ(d1(0)、d2(0))を含む。m個の駆動データは、例えば、各アクチュエータ71の制御に用いられる。n個の発光データは、例えば、各発光デバイスの制御に用いられる。1個の音声データは、音声の出力の制御に用いられる。2個の表示データは、例えば、ディスプレイ51L及びディスプレイ51Rの制御に用いられる。
 同様に、モーションデータA(1)は、m個の駆動データ(a1(1)、a2(1)、・・・、am(1))、n個の発光データ(b1(1)、b2(1)、・・・、bn(1))、1個の音声データ(c(1))、2個の表示データ(d1(1)、d2(1))を含む。
 同様に、モーションデータA(tend)は、m個の駆動データ(a1(tend)、a2(tend)、・・・、am(tend))、n個の発光データ(b1(tend)、b2(tend)、・・・、bn(tend))、1個の音声データ(c(tend))、2個の表示データ(d1(tend)、d2(tend))を含む。
 同様に、例えば、モーションBに対応するモーションデータB(t)は、所定の時間間隔(例えば、10ms)毎の時系列のモーションデータB(0)、B(1)、・・・、B(tend)を含む。
 なお、tendの値、すなわちモーションデータの数は、モーション毎に異なる。そして、モーションデータの数により、モーションの継続時間が設定される。
 モーション制御部124は、自律移動体11の状態に基づいて、自律移動体11の各種のモーションの制御を行う。例えば、モーション制御部124は、自律移動体11への接触行為及び自律移動体11の動き等に基づいて、自律移動体11に実行させるモーションを選択する。モーション制御部124は、選択したモーションを実現するモーションデータをモーションデータ保持部123から取得する。また、モーション制御部124は、必要に応じて、選択したモーションを実現するモーションデータを生成する。
 モーション制御部124は、取得又は生成したモーションデータに基づいて、自律移動体11の各種のモーションを実現する。例えば、モーション制御部124は、モーションデータのうち駆動データを駆動制御部125に供給し、発光データを発光制御部126に供給し、音声データを音声出力制御部127に供給し、表示データを表示制御部128に供給する。これにより、モーション制御部124は、自律移動体11の動き、発光パターン、音声出力、及び、表情を制御する。また、モーション制御部124は、各データを供給するタイミングを制御することにより、自律移動体11の動き、発光パターン、音声出力、及び、表情のうち2つ以上を連動させる。
 以下、この自律移動体11の異なる複数の要素(動き、発光パターン、音声出力、及び、表情)の連動により実現される表層表現をデジタルモーション表現と称する。
 駆動制御部125は、駆動データに基づいて駆動部104を制御することにより、自律移動体11の動きを制御する。
 発光制御部126は、発光データに基づいて発光部105の色及び明るさのパターンである発光パターンを制御する。これにより、例えば、上述した各発光エリアの色及び明るさが制御され、自律移動体11の発光表現が制御される。
 音声出力制御部127は、音声データに基づいて音声出力部106を制御することにより、自律移動体11の音声出力を制御する。これにより、例えば、音楽、鳴き声、及び、効果音等による音声表現が制御される。
 表示制御部128は、表示データに基づいて表示部107の制御を行うことにより、自律移動体11の表情を制御する。
 駆動部104は、例えば、図3のアクチュエータ71を備える。駆動部104は、自律移動体11の関節部等の動きを実現する。
 発光部105は、例えば、上述した発光デバイスを備える。発光部105は、発光パターンを変化させることにより、換言すれば、自律移動体11の表面の色及び明るさを変化させることにより、自律移動体11の発光表現を実現する。例えば、発光部105は、光を用いて、自律移動体11の動きを強調したり、衣装や毛並み等の模様を表したりする。
 音声出力部106は、例えば、音声生成装置、スピーカ等を備える。音声出力部106は、音楽、鳴き声、及び、効果音等を出力することにより、自律移動体11の音声表現を実現する。
 表示部107は、例えば、図2のディスプレイ51L及びディスプレイ51Rを備える。表示部107は、自律移動体11の目を動かし、表情を変化させることにより、自律移動体11の視覚的な感情表現を実現する。
  <自律移動体11の処理>
 次に、図10乃至図17を参照して、自律移動体11の処理について説明する。
   <「ジグル」実行処理>
 まず、図10のフローチャートを参照して、自律移動体11により実行される「ジグル」実行処理について説明する。「ジグル」とは、例えば、自律移動体11が身体をブルブルと揺らす動作である。
 この処理は、例えば、自律移動体11が「ジグル」を実行する条件が満たされたとき開始される。
 また、この処理の前に、例えば、図11に示されるように、自律移動体11の胴体等において、発光部105が毛並みを表す発光パターンに設定されている。
 ステップS1において、モーション制御部124は、実行モーションを「ジグル」に設定する。
 ステップS2において、モーション制御部124は、時間変数tを0に設定する。
 ステップS3において、モーション制御部124は、「ジグル」の時間tにおけるモーションデータをモーションデータ保持部123から取得する。
 ステップS4において、自律移動体11は、モーションデータに基づいて、デジタルモーション表現を行う。
 具体的には、モーション制御部124は、ステップS3の処理で取得したモーションデータから駆動データを抽出し、駆動制御部125に供給する。駆動制御部125は、駆動データに基づいて、駆動部104を制御する。
 モーション制御部124は、ステップS3の処理で取得したモーションデータから発光データを抽出し、発光制御部126に供給する。発光制御部126は、発光データに基づいて、発光部105を制御する。
 モーション制御部124は、ステップS3の処理で取得したモーションデータから音声データを抽出し、音声出力制御部127に供給する。音声出力制御部127は、音声データに基づいて、音声出力部106を制御する。
 モーション制御部124は、ステップS3の処理で取得したモーションデータから表示データを抽出し、表示制御部128に供給する。表示制御部128は、表示データに基づいて、表示部107を制御する。
 ステップS5において、モーション制御部124は、モーションが終了したか否かを判定する。モーション制御部124は、時間変数tの値がモーションデータの末尾を示すtendに達していない場合、モーションが終了していないと判定し、処理はステップS6に進む。
 ステップS6において、モーション制御部124は、時間変数tの値を1つインクリメントする。
 その後、処理はステップS3に戻り、ステップS5において、モーションが終了したと判定されるまで、ステップS3乃至ステップS6の処理が繰り返し実行される。
 これらの処理が繰り返されることにより、ジグルに対応するデジタルモーション表現が実行される。例えば、自律移動体11がブルブルと身体を揺らすのに合わせて、毛並みが揺れるように発光部105の発光パターンが変化する。例えば、自律移動体11がブルブルと身体を揺らすのに合わせて、ブルブルといった効果音が出力される。例えば、自律移動体11がブルブルと身体を揺らすのに合わせて、自律移動体11の表情が変化する。
 このようにして、自律移動体11のジグルの動きが強調されることにより、自律移動体11の表現力が向上する。これにより、自律移動体11の動きがユーザに与える印象が強くなり、ユーザの満足度が向上する。
 一方、ステップS5において、モーション制御部124は、時間変数tの値がtendに達している場合、モーションが終了したと判定し、「ジグル」実行処理は終了する。
 なお、ジグルの終了に伴い、例えば、発光部105がジグルの実行前の毛並みを表す発光パターンに戻る。
   <「四足歩行」実行処理>
 次に、図12のフローチャートを参照して、自律移動体11により実行される「四足歩行」実行処理について説明する。
 この処理は、例えば、自律移動体11が「四足歩行」を実行する条件が満たされたとき開始される。
 また、この処理の前に、例えば、上述した図11に示されるように、自律移動体11の胴体等において、発光部105が毛並みを表す発光パターンに設定されている。または、例えば、図13に示されるように、自律移動体11の頭部、胴体、脚等において、発光部105が衣装を表す発光パターンに設定されている。
 ステップS51において、モーション制御部124は、実行モーションを「四足歩行」に設定する。
 ステップS52において、モーション制御部124は、時間変数tを0に設定する。
 ステップS53において、モーション制御部124は、「四足歩行」の時間tにおけるモーションデータをモーションデータ保持部123から取得する。
 ステップS54において、図10のステップS4の処理と同様に、モーションデータに基づいて、デジタルモーション表現が行われる。
 ステップS55において、自律移動体11は、関節部の動きを検知する。具体的には、動き情報取得部102は、足裏ボタン59、慣性センサ60、及び、アクチュエータ71から自律移動体11の動きに関する動き情報を取得する。動き情報取得部102は、取得した動き情報を動き情報処理部122に供給する。
 動き情報処理部122は、動き情報に基づいて、自律移動体11の関節部の動きを検知する。動き情報処理部122は、検知した関節部の動きを示す情報をモーション制御部124に供給する。
 ステップS56において、モーション制御部124は、動きに連動した発光データを生成する。モーション制御部124は、生成した発光データを発光制御部126に供給する。
 ステップS57において、発光制御部126は、発光データに基づいて、発光制御を行う。すなわち、発光制御部126は、発光データに基づいて、発光部105の発光パターンを制御する。
 ステップS58において、図10のステップS5の処理と同様に、モーションが終了したか否かが判定される。モーションが終了していないと判定された場合、処理はステップS59に進む。
 ステップS59において、モーション制御部124は、時間変数tの値を1つインクリメントする。
 その後、処理はステップS53に戻り、ステップS58において、モーションが終了したと判定されるまで、ステップS53乃至ステップS59の処理が繰り返し実行される。
 これらの処理が繰り返されることにより、四足歩行に対応するデジタルモーション表現が実行される。
 例えば、自律移動体11の脚の動きに連動して、発光部105の発光パターンが変化する。
 具体的には、例えば、図14に模式的に示されるように、自律移動体11の脚が移動する方向と、脚において発光パターンが変化する方向とが連動する。具体的には、例えば、図14の矢印で示されるように、自律移動体11が右前脚を上げるのに合わせて、右前脚の発光エリアA5Rの点灯箇所が上方に移動する。例えば、図14の矢印で示されるように、自律移動体11が右前脚を下ろすのに合わせて、右前脚の発光エリアA5Rの点灯箇所が下方に移動する。なお、図示は省略するが、他の脚の発光エリアも同様に、脚の上げ下ろしのタイミングに合わせて、点灯箇所が上下方向に移動する。
 例えば、各脚が着地するタイミングに合わせて、着地する脚の発光エリアの明るさが変化する。具体的には、例えば、各脚が着地したとき、着地した脚の発光エリアが明るくなった後、元に戻る。
 例えば、自律移動体11の歩行の速度と、各脚の発光エリアの発光パターンが変化する速度が連動する。例えば、歩行が速くなるほど、発光パターンの変化が激しくなり(速くなり)、歩行が遅くなるほど、発光パターンの変化が緩やかになる(遅くなる)。
 例えば、自律移動体が歩行を開始するタイミング及び停止するタイミングと、各脚の発光エリアの発光パターンの変化が開始及び停止するタイミングとが同期する。例えば、自律移動体11が歩行を開始する直前に、各脚の発光エリアが、筋肉に力を入れる予備動作をイメージさせる発光パターンで発光する。例えば、自律移動体11が停止するとき、各脚の発光エリアが、ブレーキをかけるようにブルブル震えるような表現の発光パターンで発光する。
 また、例えば、自律移動体11の脚の動きに連動して、脚の動きを表す動作音が出力される。
 このようにして、自律移動体11の歩行動作が強調されることにより、自律移動体11の表現力が向上する。これにより、自律移動体11の歩行動作がユーザに与える印象が強くなり、ユーザの満足度が向上する。
 一方、ステップS58において、モーションが終了したと判定された場合、「四足歩行」実行処理は終了する。
 なお、例えば、自律移動体11が走行する場合も、歩行する場合と同様の処理により、デジタルモーション表現が実行される。
   <「サンバダンス」実行処理>
 次に、図15のフローチャートを参照して、自律移動体11により実行される「サンバダンス」実行処理について説明する。
 この処理は、例えば、自律移動体11が「サンバダンス」を実行する条件が満たされたとき開始される。
 また、この処理の前に、例えば、上述した図13に示されるように、自律移動体11の頭部、胴体、脚等において、発光部105が衣装を表す発光パターンに設定されている。なお、例えば、発光パターンによる衣装に加えて、サンバをイメージさせる衣装を自律移動体11に装着するようにしてもよい。
 ステップS101において、モーション制御部124は、実行モーションを「サンバダンス」に設定する。
 ステップS102において、モーション制御部124は、時間変数tを0に設定する。
 ステップS103において、モーション制御部124は、「サンバダンス」の時間tにおけるモーションデータをモーションデータ保持部123から取得する。
 ステップS104において、図10のステップS4の処理と同様に、モーションデータに基づいて、デジタルモーション表現が行われる。
 ステップS105において、図12のステップS55の処理と同様に、関節部の動きが検知される。
 ステップS106において、図12のステップS56の処理と同様に、動きに連動した発光データが生成される。
 ステップS107において、図12のステップS57の処理と同様に、発光データに基づいて、発光制御が行われる。
 ステップS108において、図10のステップS5の処理と同様に、モーションが終了したか否かが判定される。モーションが終了していないと判定された場合、処理はステップS109に進む。
 ステップS109において、モーション制御部124は、時間変数tの値を1つインクリメントする。
 その後、処理はステップS103に戻り、ステップS108において、モーションが終了したと判定されるまで、ステップS103乃至ステップS109の処理が繰り返し実行される。
 これらの処理が繰り返されることにより、サンバダンスに対応するデジタルモーション表現が実行される。例えば、自律移動体11がサンバの音楽を出力し、その音楽に合わせてダンスする。より具体的には、例えば、サンバのリズムに合わせて、自律移動体11が身体を揺らす。例えば、自律移動体11の身体の揺れに合わせて、衣装がリズミカルに変化するように発光パターンが変化する。
 また、各脚の細やかな動きに合わせて、各脚の発光エリアの発光パターンが変化する。例えば、発光する発光デバイスの個数、光の強弱、色が変化する。
 なお、例えば、自律移動体11が衣装を装着している場合、発光部105が、自律移動体11の動き等に連動して、衣装を照らす光の色や明るさを変化させるようにしてもよい。また、例えば、衣装が発光部を備える場合、発光制御部126が、自律移動体11の動き等に連動して、衣装の色や明るさを変化させるようにしてもよい。
 このようにして、自律移動体11のサンバダンスの演出が華やかになり、自律移動体11の表現力が向上する。これにより、自律移動体11の動きがユーザに与える印象が強くなり、ユーザの満足度が向上する。
 一方、ステップS108において、モーションが終了したと判定された場合、「サンバダンス」実行処理は終了する。
 なお、サンバダンスの終了に伴い、例えば、発光部105がサンバダンスの実行前の衣装を表す発光パターンに戻る。
   <「くつろぎ」実行処理>
 次に、図16のフローチャートを参照して、自律移動体11により実行される「くつろぎ」実行処理について説明する。
 この処理は、例えば、自律移動体11が「くつろぎ」を実行する条件が満たされたとき開始される。
 また、この処理の前に、例えば、上述した図11に示されるように、自律移動体11の胴体等において、発光部105が毛並みを表す発光パターンに設定されている。
 ステップS151において、モーション制御部124は、実行モーションを「くつろぎ」に設定する。
 ステップS152において、モーション制御部124は、時間変数tを0に設定する。
 ステップS153において、モーション制御部124は、「くつろぎ」の時間tにおけるモーションデータをモーションデータ保持部123から取得する。
 ステップS154において、図10のステップS4の処理と同様に、モーションデータに基づいて、デジタルモーション表現が行われる。
 ステップS155において、接触情報取得部101は、接触情報を取得する。具体的には、接触情報取得部101は、タッチセンサ57から自律移動体11への接触行為に関する接触情報を取得する。接触情報取得部101は、取得した接触情報を接触情報処理部121に供給する。
 ステップS156において、接触情報処理部121は、接触情報に基づいて、自律移動体11が撫でられているか否かを判定する。自律移動体11が撫でられていると判定された場合、処理はステップS157に進む。
 ステップS157において、接触情報処理部121は、接触情報に基づいて、撫で方を検知する。例えば、接触情報処理部121は、自律移動体11が撫でられている方向を検知する。より具体的には、例えば、接触情報処理部121は、毛並みの方向と同じ方向に撫でられているのか、毛並みの方向と逆方向に撫でられているのかを検知する。また、例えば、接触情報処理部121は、撫でる強さを検知する。より具体的には、例えば、接触情報処理部121は、優しく撫でられているのか、強く撫でられているのかを検知する。接触情報処理部121は、撫で方の検知結果を示す情報をモーション制御部124に供給する。
 ステップS158において、モーション制御部124は、撫で方に対応したモーションデータを生成する。
 例えば、モーション制御部124は、毛並みの方向と撫でられている方向との関係、及び、撫でられている強さ等に基づいて、モーションデータを生成する。
 具体的には、例えば、自律移動体11の所定の部分(例えば、背中)が毛並みの方向と同じ方向に優しく撫でられている場合、モーション制御部124は、図17のAに示されるように毛並みが整う様子を模擬する発光パターンを示す発光データを生成する。また、例えば、モーション制御部124は、嬉しそうな感情を示す鳴き声を模擬した音声データを生成する。さらに、例えば、モーション制御部124は、図17のBに示されるように、嬉しそうな感情を示す表情を模擬した表示データを生成する。
 一方、例えば、自律移動体11の所定の部分(例えば、背中)が毛並みの方向と逆方向に強く撫でられている場合、例えば、モーション制御部124は、図17のCに示されるように毛並みが乱れる様子を模擬する発光パターンを示す発光データを生成する。また、例えば、モーション制御部124は、嫌そうな感情を示す鳴き声を模擬した音声データを生成する。さらに、例えば、モーション制御部124は、図17のDに示されるように、嫌そうな感情を示す表情を模擬した表示データを生成する。
 モーション制御部124は、生成した発光データを発光制御部126に供給し、生成した音声データを音声出力制御部127に供給し、生成した表示データを表示制御部128に供給する。
 ステップS159において、図10のステップS4の処理と同様に、モーションデータに基づいて、デジタルモーション表現が行われる。
 その後、処理はステップS160に進む。
 一方、ステップS156において、自律移動体11が撫でられていないと判定された場合、ステップS157乃至ステップS159の処理はスキップされ、処理はステップS160に進む。
 ステップS160において、図10のステップS5の処理と同様に、モーションが終了したか否かが判定される。モーションが終了していないと判定された場合、処理はステップS161に進む。
 ステップS161において、モーション制御部124は、時間変数tの値を1つインクリメントする。
 その後、処理はステップS153に戻り、ステップS160において、モーションが終了したと判定されるまで、ステップS153乃至ステップS160の処理が繰り返し実行される。
 これらの処理が繰り返されることにより、ユーザの撫でる行為への反応を示すデジタルモーション表現が実行される。例えば、ユーザが撫でる前は、毛並みが自然になびくように発光パターンが変化する。そして、例えば、ユーザが自律移動体11の所定の部分(例えば、背中)を毛並みの方向と同じ方向に優しく撫でると、毛並みが整うように発光パターンが変化する。また、自律移動体11が嬉しそうな表情をしたり、嬉しそうな鳴き声を発したりする。
 一方、例えば、ユーザが自律移動体11の所定の部分(例えば、背中)を毛並みの方向と逆方向に強く撫でると、毛並みが乱れるように発光パターンが変化する。また、自律移動体11が嫌そうな表情をしたり、嫌そうな鳴き声を発したりする。
 このようにして、ユーザの撫でる行為に対する自律移動体11の表現力が向上し、ユーザの満足度が向上する。
 一方、ステップS160において、モーションが終了したと判定された場合、「くつろぎ」実行処理は終了する。
 以上のようにして、自律移動体11がデジタルモーション表現を行うことにより、自律移動体11の表現力が向上する。例えば、自律移動体11の動きを視覚的及び聴覚的に強調することができ、視覚的及び聴覚的な演出効果を高めることができる。例えば、自律移動体11の身体の動きや、サンバ等の音楽のリズム感をより分かりやすくすることができる。例えば、自律移動体11の可愛さをより強調することができる。例えば、自律移動体11を撫でるのに対応して毛並みを変化させることにより、表現力を実在する生物(この例の場合、イヌ)に近づけることができる。
 また、自律移動体11の個性を表現することができる。例えば、発光部105により毛並みや衣装等の模様を表現し、状況に応じて模様を変化させたり、模様に個体差を持たせたりすることにより、各自律移動体11の個性を表現することができる。これにより、各自律移動体11が他の自律移動体11と差別化され、ユーザの自律移動体11への愛着が増すことが想定される。
 <<2.変形例>>
 以下、上述した本技術の実施の形態の変形例について説明する。
 発光部105の構成は、上述した例に限定されるものではない。例えば、発光部105が、自律移動体11の内部から外装に映像や光等を投影することにより、自律移動体11の表面の色や明るさを変化させるようにしてもよい。
 例えば、自律移動体11が、目以外の部分(例えば、口、耳、鼻等)も動かすことにより表情を変化させるようにしてもよい。
 例えば、自律移動体11が外部から出力される音楽に合わせて、デジタルモーション表現(例えば、ダンス等)を行うようにしてもよい。
 例えば、図9の情報処理部103の一部又は全部を情報処理端末12又は情報処理サーバ13に設けて、情報処理端末12又は情報処理サーバ13が、自律移動体11のデジタルモーション表現の制御を行うようにしてもよい。この場合、例えば、接触情報及び動き情報、又は、接触行為及び自律移動体11の動きの検知結果を示す情報が、自律移動体11から情報処理端末12又は情報処理サーバ13に送信される。また、例えば、モーションデータが、情報処理端末12又は情報処理サーバ13から自律移動体11に送信される。
 本技術は、例えば、上述したイヌ以外の生物(例えば、ヒト、ネコ、昆虫、魚等)を模した自律移動体にも適用することができる。また、本技術は、例えば、架空の生物や擬人化した物体を模した自律移動体にも適用することができる。
 <<3.その他>>
  <コンピュータの構成例>
 上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
 図18は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 コンピュータ1000において、CPU(Central Processing Unit)1001,ROM(Read Only Memory)1002,RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
 バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記憶部1008、通信部1009、及びドライブ1010が接続されている。
 入力部1006は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記憶部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1011を駆動する。
 以上のように構成されるコンピュータ1000では、CPU1001が、例えば、記憶部1008に記録されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータ1000では、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
  <構成の組み合わせ例>
 本技術は、以下のような構成をとることもできる。
(1)
 自律的に動作する自律移動体において、
 前記自律移動体の表面の色及び明るさを変化させる発光部と、
 前記自律移動体の状態に基づいて、前記発光部の色及び明るさのパターンである発光パターンを制御するモーション制御部と
 を備える自律移動体。
(2)
 前記モーション制御部は、前記自律移動体の動きと前記発光パターンとを連動させる
 前記(1)に記載の自律移動体。
(3)
 前記モーション制御部は、前記自律移動体の動きを強調するように前記発光パターンを変化させる
 前記(2)に記載の自律移動体。
(4)
 前記モーション制御部は、前記自律移動体の脚の動きと前記発光パターンとを連動させる
 前記(3)に記載の自律移動体。
(5)
 前記モーション制御部は、前記自律移動体の脚が移動する方向と、前記脚において前記発光パターンが変化する方向とを連動させる
 前記(4)に記載の自律移動体。
(6)
 前記モーション制御部は、前記自律移動体が歩行又は走行する速度と、前記脚において前記発光パターンが変化する速度とを連動させる
 前記(4)又は(5)に記載の自律移動体。
(7)
 前記モーション制御部は、前記自律移動体が歩行又は走行を開始するタイミング及び停止するタイミングと、前記発光パターンの変化を開始及び停止するタイミングとを同期させる
 前記(4)乃至(6)のいずれかに記載の自律移動体。
(8)
 前記モーション制御部は、前記自律移動体が身体を揺らす動きと前記発光パターンとを連動させる
 前記(3)乃至(7)のいずれかに記載の自律移動体。
(9)
 前記モーション制御部は、前記自律移動体の動きと前記発光パターンにより表される模様の変化とを連動させる
 前記(2)乃至(8)のいずれかに記載の自律移動体。
(10)
 前記模様は、前記自律移動体の衣装及び毛並みのうち少なくとも1つを表す
 前記(9)に記載の自律移動体。
(11)
 前記モーション制御部は、音楽と前記自律移動体の動き及び前記発光パターンにより表される前記衣装の変化とを連動させる
 前記(10)に記載の自律移動体。
(12)
 前記モーション制御部は、さらに前記自律移動体の動きと音声及び前記自律移動体の表情のうち少なくとも1つとを連動させる
 前記(2)乃至(11)のいずれかに記載の自律移動体。
(13)
 前記モーション制御部は、前記自律移動体の状態に基づいて、前記発光パターンにより表される模様を変化させる
 前記(1)乃至(12)のいずれかに記載の自律移動体。
(14)
 前記模様は、前記自律移動体の衣装及び毛並みのうち少なくとも1つを表す
 前記(13)に記載の自律移動体。
(15)
 前記モーション制御部は、前記毛並みの方向と前記自律移動体が撫でられる方向との関係に基づいて、前記発光パターンにより表される前記毛並みを変化させる
 前記(14)に記載の自律移動体。
(16)
 前記モーション制御部は、前記毛並みの方向と前記自律移動体が撫でられる方向との関係に基づいて、前記自律移動体の表情及び鳴き声のうち少なくとも1つを制御する
 前記(14)又は(15)に記載の自律移動体。
(17)
 前記発光部は、前記自律移動体の表面に並べられ、色及び明るさが可変である複数の発光デバイスを備える
 前記(1)乃至(16)のいずれかに記載の自律移動体。
(18)
 自律的に動作する自律移動体の状態に基づいて、前記自律移動体の表面の色及び明るさを変化させる発光部の色及び明るさのパターンである発光パターンを制御する
 情報処理方法。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 1 情報処理システム, 11-1乃至11-n 自律移動体, 12-1乃至12-n 情報処理端末, 13 情報処理サーバ, 51L,51R ディスプレイ, 57 タッチセンサ, 59 足裏ボタン, 60 慣性センサ, 71 アクチュエータ, 101 接触情報取得部, 102 動き情報取得部, 103 情報処理部, 104 駆動部, 105 発光部, 106 音声出力部, 107 表示部, 121 接触情報処理部, 122 動き情報処理部, 123 モーションデータ保持部, 124 モーション制御部, 125 駆動制御部, 126 発光制御部, 127 音声出力制御部, 128 表示制御部

Claims (18)

  1.  自律的に動作する自律移動体において、
     前記自律移動体の表面の色及び明るさを変化させる発光部と、
     前記自律移動体の状態に基づいて、前記発光部の色及び明るさのパターンである発光パターンを制御するモーション制御部と
     を備える自律移動体。
  2.  前記モーション制御部は、前記自律移動体の動きと前記発光パターンとを連動させる
     請求項1に記載の自律移動体。
  3.  前記モーション制御部は、前記自律移動体の動きを強調するように前記発光パターンを変化させる
     請求項2に記載の自律移動体。
  4.  前記モーション制御部は、前記自律移動体の脚の動きと前記発光パターンとを連動させる
     請求項3に記載の自律移動体。
  5.  前記モーション制御部は、前記自律移動体の脚が移動する方向と、前記脚において前記発光パターンが変化する方向とを連動させる
     請求項4に記載の自律移動体。
  6.  前記モーション制御部は、前記自律移動体が歩行又は走行する速度と、前記脚において前記発光パターンが変化する速度とを連動させる
     請求項4に記載の自律移動体。
  7.  前記モーション制御部は、前記自律移動体が歩行又は走行を開始するタイミング及び停止するタイミングと、前記発光パターンの変化を開始及び停止するタイミングとを同期させる
     請求項4に記載の自律移動体。
  8.  前記モーション制御部は、前記自律移動体が身体を揺らす動きと前記発光パターンとを連動させる
     請求項3に記載の自律移動体。
  9.  前記モーション制御部は、前記自律移動体の動きと前記発光パターンにより表される模様の変化とを連動させる
     請求項2に記載の自律移動体。
  10.  前記模様は、前記自律移動体の衣装及び毛並みのうち少なくとも1つを表す
     請求項9に記載の自律移動体。
  11.  前記モーション制御部は、音楽と前記自律移動体の動き及び前記発光パターンにより表される前記衣装の変化とを連動させる
     請求項10に記載の自律移動体。
  12.  前記モーション制御部は、さらに前記自律移動体の動きと音声及び前記自律移動体の表情のうち少なくとも1つとを連動させる
     請求項2に記載の自律移動体。
  13.  前記モーション制御部は、前記自律移動体の状態に基づいて、前記発光パターンにより表される模様を変化させる
     請求項1に記載の自律移動体。
  14.  前記模様は、前記自律移動体の衣装及び毛並みのうち少なくとも1つを表す
     請求項13に記載の自律移動体。
  15.  前記モーション制御部は、前記毛並みの方向と前記自律移動体が撫でられる方向との関係に基づいて、前記発光パターンにより表される前記毛並みを変化させる
     請求項14に記載の自律移動体。
  16.  前記モーション制御部は、前記毛並みの方向と前記自律移動体が撫でられる方向との関係に基づいて、前記自律移動体の表情及び鳴き声のうち少なくとも1つを制御する
     請求項14に記載の自律移動体。
  17.  前記発光部は、前記自律移動体の表面に並べられ、色及び明るさが可変である複数の発光デバイスを備える
     請求項1に記載の自律移動体。
  18.  自律的に動作する自律移動体の状態に基づいて、前記自律移動体の表面の色及び明るさを変化させる発光部の色及び明るさのパターンである発光パターンを制御する
     情報処理方法。
PCT/JP2021/048959 2021-01-22 2021-12-28 自律移動体及び情報処理方法 WO2022158279A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022576585A JPWO2022158279A1 (ja) 2021-01-22 2021-12-28
US18/261,280 US20240066420A1 (en) 2021-01-22 2021-12-28 Autonomous moving object and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021009112 2021-01-22
JP2021-009112 2021-01-22

Publications (1)

Publication Number Publication Date
WO2022158279A1 true WO2022158279A1 (ja) 2022-07-28

Family

ID=82548768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048959 WO2022158279A1 (ja) 2021-01-22 2021-12-28 自律移動体及び情報処理方法

Country Status (3)

Country Link
US (1) US20240066420A1 (ja)
JP (1) JPWO2022158279A1 (ja)
WO (1) WO2022158279A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003060745A (ja) * 2001-08-22 2003-02-28 Sony Corp 情報伝達装置、情報伝達方法及びモニタ装置
JP2003071763A (ja) * 2001-09-04 2003-03-12 Sony Corp 脚式移動ロボット

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003060745A (ja) * 2001-08-22 2003-02-28 Sony Corp 情報伝達装置、情報伝達方法及びモニタ装置
JP2003071763A (ja) * 2001-09-04 2003-03-12 Sony Corp 脚式移動ロボット

Also Published As

Publication number Publication date
US20240066420A1 (en) 2024-02-29
JPWO2022158279A1 (ja) 2022-07-28

Similar Documents

Publication Publication Date Title
Breazeal Designing sociable robots
US8909370B2 (en) Interactive systems employing robotic companions
JP7400923B2 (ja) 情報処理装置および情報処理方法
US20180370039A1 (en) More endearing robot, method of controlling the same, and non-transitory recording medium
US20230266767A1 (en) Information processing apparatus, information processing method, and program
CN109955264B (zh) 机器人、机器人控制系统、机器人的控制方法以及记录介质
JP2024009862A (ja) 情報処理装置、情報処理方法、およびプログラム
US20200269421A1 (en) Information processing device, information processing method, and program
WO2019123744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230195401A1 (en) Information processing apparatus and information processing method
WO2022158279A1 (ja) 自律移動体及び情報処理方法
JP4281286B2 (ja) ロボット装置及びその制御方法
US11938625B2 (en) Information processing apparatus, information processing method, and program
JP7238796B2 (ja) 動物型の自律移動体、動物型の自律移動体の動作方法、およびプログラム
US20210329982A1 (en) Kigurumi staging support apparatus, kigurumi staging support system, and kigurumi staging support method
JP7363823B2 (ja) 情報処理装置、および情報処理方法
KR20220123098A (ko) 실시간 반응형 투영 미디어를 사용하는 광학 성능 캡처된 애니메이트 피규어를 위한 시스템 및 방법
WO2023037608A1 (ja) 自律移動体、情報処理方法、及び、プログラム
WO2023037609A1 (ja) 自律移動体、情報処理方法、及び、プログラム
US20230367312A1 (en) Information processing apparatus, information processing method, and program
US20240019868A1 (en) Autonomous mobile body, information processing apparatus, information processing method, and program
JP7329457B2 (ja) 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
JP7459791B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2003266364A (ja) ロボット装置
JP2003266350A (ja) ロボット装置及び内部状態表出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921380

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022576585

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18261280

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21921380

Country of ref document: EP

Kind code of ref document: A1