WO2022044819A1 - 情報処理装置、情報処理方法、プログラム、及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、及び情報処理システム Download PDF

Info

Publication number
WO2022044819A1
WO2022044819A1 PCT/JP2021/029698 JP2021029698W WO2022044819A1 WO 2022044819 A1 WO2022044819 A1 WO 2022044819A1 JP 2021029698 W JP2021029698 W JP 2021029698W WO 2022044819 A1 WO2022044819 A1 WO 2022044819A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
control unit
information processing
unit
information
Prior art date
Application number
PCT/JP2021/029698
Other languages
English (en)
French (fr)
Inventor
英一郎 森永
淳一郎 三澤
達也 石川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022545639A priority Critical patent/JPWO2022044819A1/ja
Publication of WO2022044819A1 publication Critical patent/WO2022044819A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present disclosure relates to an information processing device, an information processing method, a program, and an information processing system, and in particular, an information processing device, an information processing method, and a program capable of displaying information suitable for autonomous movement more appropriately. , And information processing systems.
  • This disclosure was made in view of such a situation, and makes it possible to more appropriately display information suitable for autonomous movement.
  • the information processing device on one aspect of the present disclosure includes a control unit that controls the autonomous movement of the robot device and an acquisition unit that acquires position / attitude information regarding the position and orientation of the robot device, and the control unit has acquired the information processing unit. It is an information processing device that controls the display of display information displayed on the display unit based on the position / orientation information.
  • the information processing device controls the autonomous movement of the robot device, acquires position / attitude information regarding the position and orientation of the robot device, and based on the acquired position / attitude information, This is an information processing method that controls the display of display information displayed on the display unit.
  • the program of one aspect of the present disclosure comprises a computer, a control unit that controls autonomous movement of the robot device, and an acquisition unit that acquires position / attitude information regarding the position and orientation of the robot device, and the control unit acquires. It is a program that functions as an information processing device that controls the display of display information displayed on the display unit based on the above-mentioned position / orientation information.
  • the autonomous movement of the robot device is controlled, the position and posture information regarding the position and posture of the robot device is acquired, and the acquired position and attitude information is obtained.
  • the display of the display information displayed on the display unit is controlled based on the above.
  • the information processing system includes a display unit that displays display information, a drive unit that drives a robot device, a sensor unit that outputs sensor data obtained by sensing, and the sensor unit based on the sensor data.
  • the control unit includes a control unit that controls the autonomous movement of the robot device, and the control unit is an information processing system that controls the display of the display information based on the position / attitude information regarding the position and posture of the robot device.
  • display information is displayed, the robot device is driven, sensor data obtained by sensing is output, and autonomous movement of the robot device is controlled based on the sensor data.
  • the display of the display information is controlled based on the position / attitude information regarding the position and the attitude of the robot device.
  • the information processing device on one aspect of the present disclosure may be an independent device or an internal block constituting one device.
  • FIG. 1 and 2 show an example of an external configuration of a robotic apparatus to which the present disclosure is applied.
  • FIG. 1 shows a top view, a front view, and a side view of the robot device to which the present disclosure is applied.
  • FIG. 2 shows a diagram of a state in which a display is moved in a robot device to which the present disclosure is applied.
  • the robot device 10 is an autonomous robot. Further, the robot device 10 is a mobile robot (autonomous mobile robot) having a moving mechanism such as wheels, and can freely move in the space.
  • a mobile robot autonomous mobile robot having a moving mechanism such as wheels, and can freely move in the space.
  • the robot device 10 has a substantially rectangular parallelepiped shape, and has a display capable of displaying display information such as an image on the upper surface thereof.
  • the display (screen) on the upper surface is movable, and its posture can be fixed by adjusting it to a desired angle with respect to a flat surface (moving surface such as a floor surface or the ground).
  • FIG. 3 shows an example of a component of a robotic apparatus to which the present disclosure is applied.
  • the robot device 10 includes a control unit 101 for controlling the operation of each part, a video display unit 102 including a display for displaying video, and a screen raising / lowering mechanism including a mechanism for raising and lowering the video display unit 102. It has a unit 103.
  • the thin plate-shaped image display unit 102 provided on the upper surface of the housing of the robot device 10 is movable by the screen elevating unit 103 and fixed in a desired posture.
  • the video display unit 102 can move around the lower end portion thereof, and when the video display unit 102 opens upward, the inside of the housing is exposed to the outside.
  • the robot device 10 has a left motor encoder 104-1 and a left motor 105-1 and a right motor encoder 104-2 and a right motor 105-2.
  • the robot device 10 uses a drive type that is a differential two-wheel drive type, and the left and right motor encoders 104-1 and 104-2 operate the left and right motors 105-1 and 105-2, respectively. It can be moved by the left and right wheels.
  • the robot device 10 has various sensors such as sensors 106-1 to 106-3.
  • the sensor 106 includes an IMU (Inertial Measurement Unit), a LiDAR (Light Detection and Ringing), a camera, and the like.
  • the robot device 10 operates as an autonomous mobile robot using sensor data detected by various sensors.
  • the battery unit 107 supplies electric power to each part of the robot device 10.
  • FIG. 4 shows an example in which a movable display (movable screen) in the robot device 10 is moved.
  • the robot device 10 is used on a court for playing sports.
  • the robot device 10 changes the posture of the image display unit 102 (display) according to the situation such as its own position and the position of the target spectator (the spectator watching the competition on the court). , Can be adjusted to the desired posture.
  • the robot device 10 when there are first-floor seats and second-floor seats as spectator seats for watching a competition on the court, the robot device 10 presents an image to the spectators on the first-floor seats and the second-floor seats.
  • the posture of the image display unit 102 (display) is changed depending on whether the image is presented to the audience.
  • the robot device 10 does not angle the video display unit 102 (display screen, floor surface, ground, etc.). (Make it parallel to the moving surface of the) so that the eyes of all the surrounding spectators are directed at the screen.
  • (Large screen configuration) 5 to 8 show an example in which a screen having a predetermined shape is simulated by using a plurality of robot devices 10.
  • FIG. 5 eight robot devices 10-1 to 10-8 are arranged in 2 rows and 4 columns (2 ⁇ 4), and the displays (2 ⁇ 4 screens) of the respective robot devices 10 are combined to form a pseudo predetermined value. It is used as one screen (large screen) consisting of the shape of. Using this large screen (2 ⁇ 4 screen), one large image can be presented to an audience or the like.
  • FIG. 6 eight robot devices 10-1 to 10-8 are arranged in a row and eight columns (1 ⁇ 8), and the displays (1 ⁇ 8 screens) of the robot devices 10 are combined to form a pseudo 1. It is used as one screen (horizontally long screen). Using this large screen (1 ⁇ 8 screen), one horizontally long image can be presented to an audience or the like.
  • the robot devices 10-1 to 10-8 change the posture of the image display unit 102 (display) according to the situation such as the position of the robot device 10-1 to the position of the target audience. It can be adjusted to the desired posture. Further, as shown in FIG. 7, in the robot devices 10-1 to 10-8, the inclinations of the video display units 102 are all set to the same angle, and of course, as shown in FIG. 8, for each robot device 10. The tilt of the image display unit 102 may be different.
  • FIG. 9 shows a case where the video V1 is displayed on the display (screen) in one robot device 10 (single display).
  • FIG. 10 eight robot devices 10-1 to 10-8 are arranged in 2 rows and 4 columns (2 ⁇ 4), and a large screen (2 ⁇ 4 screen) in which the displays of each robot device 10 are combined is displayed. It shows the case where the image V2 is displayed (large screen display).
  • FIG. 11 shows that the image V3 displayed on the display (screen) is fixed even when one robot device 10 moves (fixed display). Specifically, when the robot device 10 makes a rotation such as a super-credit turn, the display is controlled so that the image V3 can be seen as localized with respect to the rotation.
  • FIG. 12 five robot devices 10-1 to 10-5 are arranged in 1 row and 5 columns (1 ⁇ 5), and a horizontally long screen (1 ⁇ 5 screen) in which the displays of each robot device 10 are combined is displayed. It shows the case where the image V4 (for example, a horizontally long image) is displayed (horizontally long image display).
  • V4 for example, a horizontally long image
  • FIG. 13 shows an example of a functional configuration of a robotic apparatus to which the present disclosure is applied.
  • the robot device 10 includes an autonomous movement control unit 201, a sensor unit 202, a communication control unit 203, a video display unit 204, a display attitude control unit 205, an aircraft control unit 206, an aircraft drive unit 207, and a safety function control unit 208. To.
  • the autonomous movement control unit 201, the communication control unit 203, the display attitude control unit 205, the aircraft control unit 206, and the safety function control unit 208 correspond to the control unit 101 of FIG.
  • the sensor unit 202 corresponds to the sensors 106-1 to 106-3 in FIG. 3
  • the video display unit 204 corresponds to the video display unit 102 in FIG.
  • the machine body drive unit 207 corresponds to the left and right motor encoders 104-1 and 104-2 in FIG. 3 and the left and right motors 105-1 and 105-2.
  • the autonomous movement control unit 201 controls the autonomous movement of the robot device 10 (airframe).
  • the autonomous movement control unit 201 has at least a self-position estimation unit 211, a surrounding environment recognition unit 212, an autonomous movement action planning unit 213, and an aircraft position / attitude control unit 214.
  • the self-position estimation unit 211 has a function of calculating the position information of the aircraft in the assumed area based on the sensor data from the sensor unit 202.
  • the surrounding environment recognition unit 212 has a function of recognizing an obstacle, a person in the vicinity, or the like based on the sensor data from the sensor unit 202.
  • the autonomous movement action planning unit 213 has a function of performing an autonomous movement action plan at the current time based on the operation instruction data from the communication control unit 203 or the operation instruction data stored in the aircraft in advance.
  • the aircraft position / attitude control unit 214 has a function of controlling the position and attitude of the aircraft based on the action plan (trajectory) of autonomous movement determined by the autonomous movement action planning unit 213.
  • the operation instruction data includes, for example, the following information. That is, when the robot device 10 is a differential two-wheel drive type, the operation instruction data includes information on time, position (X, Y), posture (Heading), speed (X), angular velocity, and the like.
  • the operation instruction data includes information on time, position (X, Y), posture (Heading), speed (X, Y), angular velocity, and the like. Further, the operation instruction data may include information such as a video synchronization instruction, a display posture, and a display angular velocity.
  • the sensor unit 202 senses spatial information, time information, and the like, and supplies the sensor data obtained as a result of the sensing to the autonomous movement control unit 201.
  • the sensor unit 202 has at least an IMU 221, a camera 222, a distance sensor 223, and a wheel encoder 224.
  • IMU221 is an inertial measurement unit (IMU) that can measure three-dimensional angular velocity and acceleration.
  • the sensor data from IMU221 is used for attitude control of the yaw angle of the aircraft.
  • the camera 222 is composed of an optical system, an image sensor, a signal processing circuit (also referred to as a signal processing unit), and the like, and can photograph the environment around the machine body.
  • the sensor data from the camera 222 is used to detect a person or an object around the aircraft.
  • the image sensor is a type of DSP (Digital Signal Processor) in the image sensor that performs simple image processing such as noise reduction, and also performs complicated processing such as face recognition using image data and outputs it. It may be something like.
  • DSP Digital Signal Processor
  • the image sensor has an image pickup unit, a control unit, a signal processing unit, a DSP (also referred to as a processing unit), a memory, a selector (also referred to as an output unit), and the like, which are composed of a pixel array.
  • the signal processing unit executes various signal processing on the digital image data read from the imaging unit or the digital image data read from the memory (hereinafter referred to as image data to be processed). For example, when the image data to be processed is a color image, the signal processing unit converts the image data into YUV image data, RGB image data, or the like. Further, the signal processing unit executes, for example, processing such as noise reduction and white balance adjustment on the image data to be processed as necessary. In addition, the signal processing unit executes various signal processing (also referred to as preprocessing) necessary for the DSP to process the image data to be processed.
  • image data to be processed is a color image
  • the signal processing unit converts the image data into YUV image data, RGB image data, or the like. Further, the signal processing unit executes, for example, processing such as noise reduction and white balance adjustment on the image data to be processed as necessary.
  • the signal processing unit executes various signal processing (also referred to as preprocessing) necessary for the DSP to process the image data to be processed.
  • the DSP functions as a processing unit that executes various processes using a trained model created by machine learning using a deep neural network (DNN), for example, by executing a program stored in a memory.
  • DNN deep neural network
  • the DSP executes a process of multiplying the dictionary coefficient stored in the memory and the image data by executing an arithmetic process based on the trained model stored in the memory.
  • the result (calculation result) obtained by such arithmetic processing is output to the memory and / or the selector.
  • the calculation result may include image data obtained by executing a calculation process using the trained model and various information (metadata) obtained from the image data.
  • the DSP may have a built-in memory controller that controls access to the memory.
  • the DSP can also execute DSP processing, which is various processing, using a trained learning model.
  • DSP processing which is various processing, using a trained learning model.
  • the DSP reads image data from a memory and inputs it to a trained learning model, and acquires a face position such as a face contour or a face image area as an output result of the trained model.
  • the target is a specific person such as a referee or the gesture of the target from the whole image of the target.
  • the trained learning model includes DNNs and support vector machines that have learned the detection of the face position of a person using the training data.
  • the trained learning model outputs the area information such as the address for specifying the discriminant result.
  • the DSP updates the learning model by changing the weighting of various parameters in the learning model using the learning data, or prepares a plurality of learning models and uses them according to the content of the arithmetic processing. Can be changed, and the trained training model can be acquired or updated from an external device to execute the above arithmetic processing.
  • the image data to be processed by the DSP may be image data normally read from the pixel array unit, or the data size is reduced by thinning out the pixels of the normally read image data. It may be the image data that has been created. Alternatively, the image data may be read out with a data size smaller than usual by executing reading with the pixels thinned out from the pixel array unit. The normal reading here may be reading without thinning out the pixels.
  • the memory stores the image data output from the imaging unit, the image data signal processed by the signal processing unit, the calculation result obtained by the DSP, etc. as needed.
  • the memory stores the algorithm of the trained learning model executed by the DSP as a program and dictionary coefficients.
  • the memory may store ISO (International Organization for Standardization) sensitivity, exposure time, frame rate, focus, shooting mode, cutting range and the like. That is, the memory can store various imaging information.
  • the selector outputs the image data output from the DSP or the image data stored in the memory to the peripheral environment recognition unit 212, for example, by following the selection control signal from the control unit.
  • a part or all of the processing performed by the surrounding environment recognition unit 212 may be performed by extracting the face position by the learning model and gesturing recognition.
  • the distance sensor 223 is a distance sensor such as LiDAR (Light Detection and Ringing).
  • the sensor data from the distance sensor 223 is used to avoid a collision with an obstacle in the traveling direction of the aircraft.
  • the distance sensor 223 may be installed only in front of the machine body, or may be installed in all directions, for example.
  • the wheel encoder 224 is used to detect the amount of movement of the airframe (vehicle) in the traveling direction.
  • the wheel encoder 224 may be built in the motor or may be configured separately.
  • the communication control unit 203 communicates with other devices via the network and supplies the received data to the autonomous movement control unit 201 or the video display unit 204.
  • the communication method here includes cellular communication (for example, LTE-Advanced, 5G, etc.) and wireless communication such as wireless LAN (Local Area Network).
  • the communication control unit 203 has at least a video receiving unit 231 and an airframe control instruction receiving unit 232.
  • the video receiving unit 231 receives the video data distributed from the server via the network and supplies it to the video display unit 204.
  • the aircraft control instruction receiving unit 232 receives the locus data defining the movement of the aircraft, the received video data, or the operation instruction data for synchronizing the time of the video data stored in advance with the movement of the aircraft, and the autonomous movement control unit 201 receives the operation instruction data. Supply.
  • the video display unit 204 displays a video according to the video data according to the control from the autonomous movement control unit 201, and displays a video coordinated with the operation of the robot device 10 (airframe). That is, the robot device 10 is controlled to move in a preset locus, and the display of the image and the posture of the display are controlled at an arbitrary set place or time.
  • the display is controlled so that the image displayed on the image display unit 204 is enlarged or reduced in proportion to the rotation speed of the robot device 10 when turning (for example, when turning over the ground). Further, when the robot device 10 makes a rotation such as a super-credit turn, the display is controlled so that the image displayed on the image display unit 204 is localized and appears with respect to the rotation.
  • the image display unit 204 has at least an image drawing unit 241 and a display 242.
  • the video drawing unit 241 controls the display of the video data based on the display instruction data from the autonomous movement control unit 201, and displays the video on the display 242.
  • the display instruction data includes the sensor data from the sensor unit 202 or the position / attitude information of the aircraft based on the traveling data prepared in advance.
  • the video data is video data received by the video receiving unit 231 or video data stored in advance. As display control, video drawing such as enlargement / reduction, rotation, and color tone change is controlled.
  • the display 242 is a display such as a liquid crystal display or an organic EL (Electro Luminescence) display. Further, an LED (Light Emitting Diode) array may be used as the display 242.
  • the display attitude control unit 205 controls the attitude of the display 242 according to the control from the autonomous movement control unit 201.
  • the display attitude control unit 205 has at least an actuator control unit 251 and an actuator 252.
  • the actuator control unit 251 changes the posture of the display 242 to a posture according to the target value by operating the actuator 252 based on the display posture instruction data from the autonomous movement control unit 201.
  • the display attitude indicator data is an instruction synchronized with the movement of the aircraft.
  • the actuator 252 has one or more drive units such as a linear actuator.
  • the actuator 252 is a mechanism for adjusting the posture of the display 242 by driving it on at least one axis or two axes.
  • the airframe control unit 206 controls the airframe drive unit 207 (the speed of each motor) according to the control from the autonomous movement control unit 201.
  • the airframe control unit 206 has at least a drive type instruction conversion unit 261 and a motor speed control unit 262.
  • the drive type instruction conversion unit 261 converts the speed / angular velocity instruction data from the autonomous movement control unit 201 according to the drive type of the airframe, and supplies the speed instruction information obtained as a result to the motor speed control unit 262.
  • Drive types include differential two-wheel drive types, Mecanum wheels, omni wheels, and other types.
  • the velocity / angular velocity instruction data includes the velocity control instruction in the X and Y directions and the velocity instruction value of the yaw angle (Yaw).
  • the speed instruction information includes the speed of each motor in the machine drive unit 207.
  • the motor speed control unit 262 outputs a torque instruction value to the motor driver of each motor in the machine drive unit 207 based on the speed instruction information from the drive type instruction conversion unit 261.
  • the motor driver 271 and the motor 272 are laid out according to the drive type of the machine body.
  • the drive type includes a type such as a differential two-wheel drive type.
  • the airframe drive unit 207 is composed of a motor driver 271-1.271-2 and a motor 272-1,272-2.
  • the motor driver 271-1 generates a motor torque according to a torque instruction value from the machine control unit 206 (motor speed control unit 262) to operate the motor 272-1.
  • the motor driver 271-2 generates a motor torque according to a torque instruction value from the airframe control unit 206 (motor speed control unit 262) to operate the motor 272-2.
  • the safety function control unit 208 is composed of one or a plurality of safety stop functions.
  • the safety function control unit 208 has a self-diagnosis unit 281.
  • the self-diagnosis unit 281 detects an abnormality in the sensors, computers, actuators, etc. that make up the airframe, and outputs a stop instruction to the airframe drive unit 207 when the abnormality occurs.
  • a so-called watchdog WatchDog
  • a sensor abnormality value a temperature rise, or the like is detected.
  • the self-diagnosis function is exemplified as a typical safe stop function, but other functions such as a geo-fence function, a wireless stop function, and an obstacle stop function may be used.
  • the geo-fence function divides the expected action area of the aircraft with a geo-fence and automatically stops when the aircraft exceeds the geo-fence. For example, when the robot device 10 is used in a court for playing sports, equipment may be installed on the outer periphery of the court and a stop instruction to the aircraft may be transmitted from the outside.
  • the wireless stop function automatically stops when the aircraft receives an emergency stop signal wirelessly.
  • the radio used for receiving the emergency stop signal may be a radio dedicated to an emergency stop or may be via a communication function.
  • the obstacle stop function automatically stops when a collision is predicted based on the sensor data from the distance sensor mounted on the aircraft.
  • FIG. 13 is an example, and other components such as a speaker that outputs sound according to the image may be included. Further, when data such as video data and operation instruction data is stored (saved) in advance, a storage device such as a semiconductor memory or an HDD (Hard Disk Drive) is provided.
  • a storage device such as a semiconductor memory or an HDD (Hard Disk Drive) is provided.
  • the robot device 10 receives operation instruction data and video data from an external device (server or the like) (S11), and waits until the operation start time (S12). In the robot device 10, when the operation start time is reached (“YES” in S12), the processes after step S13 are executed.
  • step S13 the autonomous movement control unit 201 acquires the sensor data from the sensor unit 202.
  • step S14 the self-position estimation unit 211 estimates the current self-position based on the sensor data.
  • the amount of movement from the initial position is calculated using the sensor data from the IMU 221 and the wheel encoder 224 among the acquired sensor data.
  • the position information may be set as a self-position or may be combined at the time of self-position estimation.
  • the surrounding environment recognition unit 212 recognizes the surrounding environment based on the sensor data.
  • this surrounding environment recognition among the acquired sensor data, obstacles, surrounding people (target people), objects, and the like are recognized by using the sensor data from the camera 222 and the distance sensor 233.
  • the target is a person
  • the posture of the target is recognized and the gesture taken by the target is recognized.
  • the camera 222 or the distance sensor 233 may be used alone to perform recognition processing using the sensor data, or a combination of these sensors may be used.
  • step S16 the autonomous movement action planning unit 213 plans the action of autonomous movement based on information such as the operation instruction data, the current time, the result of self-position estimation, and the result of recognition of the surrounding environment.
  • the operation instruction data is set in advance or is sequentially transmitted from an external device.
  • the action to be performed by the robot device 10 is determined based on the result of recognition of the surrounding environment, and the person is determined according to the action plan.
  • the motion trajectory indication required to follow is generated.
  • instruction data corresponding to the content of the image display and the operation instruction is generated based on the gesture information obtained from the result of the recognition of the surrounding environment.
  • step S17 the aircraft position / attitude control unit 214 controls the position and attitude of the aircraft.
  • the speed and the angular velocity required to follow the locus are calculated and instructed based on the motion locus instruction generated according to the action plan.
  • step S18 the autonomous movement control unit 201 performs a video instruction calculation.
  • this video instruction calculation an image corresponding to preset conditions is generated based on the speed and angular velocity instructions instructed by the aircraft position / attitude control and the current position / attitude information.
  • the video setting conditions include, for example, the following conditions.
  • an image that seems to be stationary even if the aircraft is moving, an image that multiple aircraft are talking (passing and receiving images), and multiple robot devices (airframes) operate in a pseudo manner.
  • An image that constitutes a large screen, an image that a creature such as an animal is chasing while moving following a person, or an image of a character that responds to a gesture is set as a condition.
  • the target on which the advertisement should be displayed is determined by an instruction or recognition process, and the target is displayed.
  • the video is displayed so that it can be easily seen from the audience seats supporting the team to which the player belongs.
  • the attitude control of the display 242 may be performed at the same time.
  • step S19 the airframe control unit 206 controls the airframe drive unit 207 to drive the motor. Further, in step S20, the image display unit 204 displays the image according to the instruction from the autonomous movement control unit 201. As a result, in the robot device 10, the operation of the autonomous movement and the image display of the display 242 are controlled in cooperation with each other. Further, in the robot device 10, the image display and the posture of the display 242 are changed in cooperation with the operation of the autonomous movement.
  • the display can be controlled so that the image displayed on the image display unit 204 is enlarged or reduced in proportion to the rotation speed of the robot device 10 when turning. Further, when the robot device 10 makes a rotation such as a super-credit turn, the display may be controlled so that the image displayed on the image display unit 204 is localized and appears with respect to the rotation.
  • the user is selected by any means such as a preset user or a person who is detected by performing image analysis processing on the captured image taken by the camera 222 and is the closest to the aircraft. It is possible to follow the target person and control the screen so that the screen is always directed to the person.
  • the robot device 10 may display an image expressing that the person is following the target person while the robot device 10 is following the target person.
  • the target selected by any means is not limited to a person, and may be an object such as a ball. In the case of this example, the robot device 10 will follow the ball.
  • the robot device 10 may travel while the display 242 is always directed to a specific direction such as the direction in which the spectator is present.
  • the robot device 10 recognizes a predetermined motion such as waving the hand of the spectator, and based on the recognition result, performs a video expression according to the predetermined motion such as waving the hand.
  • the posture of the display 242 may be changed.
  • the processes of steps S13 to S20 described above are repeated until the operation completion time is reached (S21).
  • the operation completion time is reached (“YES” in S21)
  • the process is terminated.
  • the robot device 10 is stopped, but the image display may be continued according to an instruction from an external device such as a server.
  • step S31 the self-position estimation unit 211 estimates the current self-position based on the sensor data.
  • step S32 the airframe control unit 206 controls the airframe drive unit 207 to move the airframe.
  • step S33 the surrounding environment recognition unit 212 recognizes the posture of the target person based on the sensor data, and recognizes the gesture of the target. Known techniques can be used in this gesture recognition.
  • step S34 it is determined whether or not the gesture is detected based on the result of the gesture recognition.
  • step S34 If it is determined in the determination process of step S34 that the gesture has not been detected, the process returns to step S31, and the processes of steps S31 to S33 are repeated. On the other hand, if it is determined that the gesture is detected in the determination process of step S34, the process proceeds to step S35.
  • step S35 the display posture control unit 205 controls the posture of the display 242 based on the instruction from the autonomous movement control unit 201, and corrects the angle of the screen to the angle according to the gesture.
  • step S36 the image display unit 204 displays the image according to the gesture and displays the screen based on the instruction from the autonomous movement control unit 201.
  • a user selected in advance, a person detected by performing image analysis processing on the captured image taken by the camera 222, and a person closest to the aircraft can be selected by any means.
  • the gesture of the target person is recognized, and the action is performed according to the recognized instruction.
  • the posture of the display 242 is changed to express the gesture as if it is understood, or the gesture is expressed by the displayed image. You may express what you understand to the target person.
  • the differential two-wheel drive type is exemplified as the drive type of the robot device 10, but a drive type such as an omnidirectional movement type may be used.
  • a drive type such as an omnidirectional movement type
  • the display 242 may be driven by not only one axis but also two axes or the like.
  • the display information to be displayed on the display 242 an image has been described as an example, but information such as an image or text may be used.
  • the robot device 10 to which the present disclosure is applied can be regarded as an information processing device having a control unit such as an autonomous movement control unit 201.
  • This control unit may be provided not only inside the robot device 10 but also in an external device.
  • the robot device 10 to which the present disclosure is applied can be regarded as a system (information processing system) in which a plurality of devices such as a control device, a sensor device, a display device, a communication device, and a mobile mechanism are combined.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether or not all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems.
  • the robot device 10 to which the present disclosure is applied can be further provided with an attachment for cleaning.
  • This cleaning attachment is a mop-shaped one, and by being attached to the front surface, the rear surface, the side surface, the lower surface, or the like of the robot device 10, the robot device 10 autonomously travels while cleaning the traveling path. Can be done.
  • the part to be cleaned may be given in advance as a traveling route, or may be performed by recognizing the instruction such as "clean here" by the instructor by the gesture recognition as described above.
  • the cleaning operation and the image display may be performed in cooperation with each other. In this case, when cleaning is started, an image to that effect may be displayed during cleaning or when cleaning is completed, or an advertisement or other image may be displayed during cleaning. Further, the posture of the image display unit 102 (display) may also be controlled.
  • the attachment for cleaning is not limited to the illustrated mop-shaped attachment, and includes other attachments such as a dustpan-shaped attachment.
  • FIG. 16 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU 1001, the ROM (Read Only Memory) 1002, and the RAM (Random Access Memory) 1003 are connected to each other by the bus 1004.
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a microphone, a keyboard, a mouse, and the like.
  • the output unit 1007 includes a speaker, a display, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the ROM 1002 and the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program. A series of processes are performed.
  • the program executed by the computer 1000 can be recorded and provided on the removable media 1011 as a package media or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the recording unit 1008.
  • the processes performed by the computer according to the program do not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, processing by parallel processing or processing by an object). Further, the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers.
  • each step of the process shown in FIG. 14 or FIG. 15 can be executed by one device or shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a control unit that controls the autonomous movement of the robot device It is equipped with an acquisition unit that acquires position / attitude information regarding the position and attitude of the robot device.
  • the control unit is an information processing device that controls the display of display information displayed on the display unit based on the acquired position / orientation information.
  • the control unit coordinatesly controls the movement of the robot device and the display of the display information.
  • the control unit changes the display of the display information and the posture of the display unit in cooperation with the operation of autonomous movement.
  • the information processing device (9) The information processing device according to (8), wherein the control unit controls the display of the display information and the posture of the display unit. (10) The control unit controls the robot device to move in a preset trajectory, and also controls the display of the display information and the posture of the display unit at an arbitrary set place or time (3).
  • the information processing device described in. (11) The information processing device according to (10), wherein the control unit controls the display so that the display information is enlarged or reduced based on the rotation speed of the robot device at the time of turning.
  • Information processing equipment Control the autonomous movement of the robot device, Acquire position / posture information regarding the position and posture of the robot device, and obtain An information processing method that controls the display of display information displayed on the display unit based on the acquired position / orientation information.
  • Computer A control unit that controls the autonomous movement of the robot device, It is equipped with an acquisition unit that acquires position / attitude information regarding the position and attitude of the robot device.
  • the control unit is a program that functions as an information processing device that controls the display of display information displayed on the display unit based on the acquired position / orientation information.
  • a display unit that displays display information and The drive unit that drives the robot device and The sensor unit that outputs the sensor data obtained by sensing, and A control unit that controls the autonomous movement of the robot device based on the sensor data is provided.
  • the control unit is an information processing system that controls the display of the display information based on the position / posture information regarding the position and posture of the robot device.
  • Robot device 101 control unit, 102 video display unit, 103 screen elevating unit, 104-1 left motor encoder, 104-2 right motor encoder, 105-1 left motor, 105-2 right motor, 106-1 to 106- 3 sensor, 107 battery unit, 201 autonomous movement control unit, 202 sensor unit, 203 communication control unit, 204 video display unit, 205 display attitude control unit, 206 aircraft control unit, 207 aircraft drive unit, 208 safety function control unit, 211 Self-position estimation unit, 212 peripheral environment recognition unit, 213 autonomous movement action planning unit, 214 aircraft position and attitude control unit, 221 IMU, 222 camera, 223 distance sensor, 224 wheel encoder, 231 video receiver, 232 aircraft control instruction receiver , 241 image drawing unit, 242 display, 251 actuator control unit, 252 actuator, 261 drive type instruction conversion unit, 262 motor speed control unit, 271-1.271-2 motor driver, 272-1,272-2 motor, 281 Self-diagnosis unit, 1001 CPU

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本開示は、より適切に、自律移動に適合した情報を表示することができるようにする情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。 ロボット装置の自律移動を制御する制御部と、ロボット装置の位置と姿勢に関する位置姿勢情報を取得する取得部とを備え、制御部は、取得した位置姿勢情報に基づいて、表示部に表示される表示情報の表示を制御する情報処理装置が提供される。本開示は、例えば、自律移動型のロボット装置に適用することができる。

Description

情報処理装置、情報処理方法、プログラム、及び情報処理システム
　本開示は、情報処理装置、情報処理方法、プログラム、及び情報処理システムに関し、特に、より適切に、自律移動に適合した情報を表示することができるようにした情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。
　近年、自律移動機能を有するロボットの研究開発が盛んに行われている。この種の自律移動ロボットには、ディスプレイを有し、各種の情報を表示可能なものがある（例えば、特許文献１参照）。
特開2010-247766号公報
　自律移動ロボットにおいて、各種の情報を表示させるに際しては、自律移動に適合した情報を表示することが求められる。
　本開示はこのような状況に鑑みてなされたものであり、より適切に、自律移動に適合した情報を表示することができるようにするものである。
　本開示の一側面の情報処理装置は、ロボット装置の自律移動を制御する制御部と、前記ロボット装置の位置と姿勢に関する位置姿勢情報を取得する取得部とを備え、前記制御部は、取得した前記位置姿勢情報に基づいて、表示部に表示される表示情報の表示を制御する情報処理装置である。
　本開示の一側面の情報処理方法は、情報処理装置が、ロボット装置の自律移動を制御し、前記ロボット装置の位置と姿勢に関する位置姿勢情報を取得し、取得した前記位置姿勢情報に基づいて、表示部に表示される表示情報の表示を制御する情報処理方法である。
　本開示の一側面のプログラムは、コンピュータを、ロボット装置の自律移動を制御する制御部と、前記ロボット装置の位置と姿勢に関する位置姿勢情報を取得する取得部とを備え、前記制御部は、取得した前記位置姿勢情報に基づいて、表示部に表示される表示情報の表示を制御する情報処理装置として機能させるプログラムである。
　本開示の一側面の情報処理装置、情報処理方法、及びプログラムにおいては、ロボット装置の自律移動が制御され、前記ロボット装置の位置と姿勢に関する位置姿勢情報が取得され、取得された前記位置姿勢情報に基づいて、表示部に表示される表示情報の表示が制御される。
　本開示の一側面の情報処理システムは、表示情報を表示する表示部と、ロボット装置を駆動する駆動部と、センシングにより得られるセンサデータを出力するセンサ部と、前記センサデータに基づいて、前記ロボット装置の自律移動を制御する制御部とを備え、前記制御部は、前記ロボット装置の位置と姿勢に関する位置姿勢情報に基づいて、前記表示情報の表示を制御する情報処理システムである。
　本開示の一側面の情報処理システムにおいては、表示情報が表示され、ロボット装置が駆動され、センシングにより得られるセンサデータが出力され、前記センサデータに基づいて、前記ロボット装置の自律移動が制御され、前記ロボット装置の位置と姿勢に関する位置姿勢情報に基づいて、前記表示情報の表示が制御される。
　なお、本開示の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本開示を適用したロボット装置の外観の構成の第１の例を示す図である。 本開示を適用したロボット装置の外観の構成の第２の例を示す図である。 本開示を適用したロボット装置の構成要素の例を示す図である。 本開示を適用したロボット装置における可動式の画面の例を示す図である。 複数のロボット装置を用いて所定の形状の画面を構成した場合の第１の例を示す図である。 複数のロボット装置を用いて所定の形状の画面を構成した場合の第２の例を示す図である。 複数のロボット装置を用いて所定の形状の画面を構成した場合の第３の例を示す図である。 複数のロボット装置を用いて所定の形状の画面を構成した場合の第４の例を示す図である。 １又は複数のロボット装置を用いた画面の表示方法の第１の例を示す図である。 １又は複数のロボット装置を用いた画面の表示方法の第２の例を示す図である。 １又は複数のロボット装置を用いた画面の表示方法の第３の例を示す図である。 １又は複数のロボット装置を用いた画面の表示方法の第４の例を示す図である。 本開示を適用したロボット装置の機能的構成の例を示すブロック図である。 自律移動及び映像表示の協調制御処理の流れを示すフローチャートである。 ジェスチャ認識に応じた画面角度制御処理の流れを示すフローチャートである。 コンピュータの構成の例を示すブロック図である。
＜１．本技術実施の形態＞
（外観の構成）
　図１，図２は、本開示を適用したロボット装置の外観の構成の例を示している。図１には、本開示を適用したロボット装置の上面図、正面図、側面図をそれぞれ示している。図２には、本開示を適用したロボット装置におけるディスプレイを可動させた状態の図を示している。
　ロボット装置１０は、自律型ロボットである。また、ロボット装置１０は、車輪等の移動機構を有する移動型ロボット（自律移動ロボット）であり、空間内を自由に移動可能である。
　ロボット装置１０は、略直方体の形状からなり、その上面に、映像等の表示情報を表示可能なディスプレイを有する。ロボット装置１０において、上面のディスプレイ（画面）は可動式であり、平面（床面や地面等の移動面）に対して所望の角度に調整してその姿勢を固定することができる。
（構成要素）
　図３は、本開示を適用したロボット装置の構成要素の例を示している。図３において、ロボット装置１０は、各部の動作を制御する制御ユニット１０１と、映像を表示するディスプレイを含む映像表示ユニット１０２と、映像表示ユニット１０２を上げたり下げたりするための機構を含む画面昇降ユニット１０３とを有する。
　図３では、ロボット装置１０の筐体の上面に設けられた薄板状の映像表示ユニット１０２が、画面昇降ユニット１０３により可動して、所望の姿勢に固定されている。このように、ロボット装置１０において、映像表示ユニット１０２は、その下端部分を中心に可動することができ、映像表示ユニット１０２が上方に開くと、筐体の内部が外部に露出する。
　ロボット装置１０は、左モータエンコーダ１０４－１と左モータ１０５－１、及び右モータエンコーダ１０４－２と右モータ１０５－２を有する。ロボット装置１０においては、差動二輪駆動型である駆動形式を用いており、左右のモータエンコーダ１０４－１，１０４－２が、左右のモータ１０５－１，１０５－２をそれぞれ動作させることで、左右の車輪により移動可能となる。
　ロボット装置１０は、センサ１０６－１乃至１０６－３等の各種のセンサを有する。センサ１０６としては、IMU(Inertial Measurement Unit)，LiDAR(Light Detection and Ranging)，カメラなどを含む。ロボット装置１０では、各種のセンサにより検出されたセンサデータを用い、自律移動ロボットとして動作する。バッテリユニット１０７は、ロボット装置１０の各部に電力を供給する。
（可動式画面の可動）
　図４は、ロボット装置１０における可動式のディスプレイ（可動式画面）を可動させた場合の例を示している。図４では、ロボット装置１０が、スポーツを行うためのコート上で用いられる場合を想定する。この場合において、ロボット装置１０は、自己の位置や、対象となる観客（コート上の競技を観戦している観客）の位置などの状況に応じて、映像表示ユニット１０２（のディスプレイ）の姿勢を、所望の姿勢に調整することができる。
　例えば、コート上の競技を観戦するための観客席として、１階席と２階席がある場合に、ロボット装置１０は、１階席の観客に対して映像を提示するときと、２階席の観客に対して映像を提示するときとで、映像表示ユニット１０２（のディスプレイ）の姿勢を変化させる。
　具体的には、２階席の観客は、１階席の観客よりも空間的に上方に存在するため、その視線に合わせて、映像表示ユニット１０２の傾きが、よりなだらかになるように調整する。逆に、１階席の観客に対しては、映像表示ユニット１０２の傾きが、より急峻になるように調整すればよい。また、コートの周囲にいる全ての観客（360度の観客）を対象とする場合には、ロボット装置１０は、映像表示ユニット１０２に角度をつけずに（ディスプレイの画面を、床面や地面等の移動面と平行になるようにして）、周囲の全ての観客の視線が画面に向けられるようにする。
（大画面の構成）
　図５乃至図８は、複数のロボット装置１０を用いて擬似的に所定の形状の画面を構成した場合の例を示している。
　図５では、８台のロボット装置１０－１乃至１０－８を２行４列（２×４）に並べて、各ロボット装置１０のディスプレイ（２×４の画面）を組み合わせて、擬似的に所定の形状からなる１つの画面（大画面）として用いている。この大画面（２×４の画面）を利用して、１つの大きな映像を観客などに提示することができる。
　図６では、８台のロボット装置１０－１乃至１０－８を１行８列（１×８）に並べて、各ロボット装置１０のディスプレイ（１×８の画面）を組み合わせて、擬似的に１つの画面（横長画面）として用いている。この大画面（１×８の画面）を利用して、１つの横長の映像を観客などに提示することができる。
　このとき、図７に示すように、ロボット装置１０－１乃至１０－８は、自己の位置や、対象となる観客の位置などの状況に応じて、映像表示ユニット１０２（のディスプレイ）の姿勢を調整して、所望の姿勢にすることができる。また、図７に示すように、ロボット装置１０－１乃至１０－８では、映像表示ユニット１０２の傾きをすべて同一の角度とすることは勿論、図８に示すように、ロボット装置１０ごとに、映像表示ユニット１０２の傾きを異なる角度としても構わない。
（画面の表示方法）
　図９乃至図１２は、１又は複数のロボット装置１０のディスプレイを用いた画面の表示方法の例を示している。図９には、１台のロボット装置１０において、ディスプレイ（画面）に、映像Ｖ１を表示した場合を示している（単独表示）。
　図１０には、８台のロボット装置１０－１乃至１０－８を２行４列（２×４）に並べて、各ロボット装置１０のディスプレイを組み合わせた大画面（２×４の画面）に、映像Ｖ２を表示した場合を示している（大画面表示）。
　図１１には、１台のロボット装置１０が移動した場合でも、ディスプレイ（画面）に表示される映像Ｖ３は固定されることを示している（固定表示）。具体的には、ロボット装置１０が超信地旋回などの回転を行うに際し、当該回転に対して映像Ｖ３が定位して見えるように表示を制御している。
　図１２には、５台のロボット装置１０－１乃至１０－５を１行５列（１×５）に並べて、各ロボット装置１０のディスプレイを組み合わせた横長画面（１×５の画面）に、映像Ｖ４（例えば横に長い映像）を表示した場合を示している（横長の映像表示）。
（機能的構成）
　図１３は、本開示を適用したロボット装置の機能的構成の例を示している。
　ロボット装置１０は、自律移動制御部２０１、センサ部２０２、通信制御部２０３、映像表示部２０４、ディスプレイ姿勢制御部２０５、機体制御部２０６、機体駆動部２０７、及び安全機能制御部２０８から構成される。
　図１３において、自律移動制御部２０１、通信制御部２０３、ディスプレイ姿勢制御部２０５、機体制御部２０６、及び安全機能制御部２０８は、図３の制御ユニット１０１に対応している。また、センサ部２０２は、図３のセンサ１０６－１乃至１０６－３に対応し、映像表示部２０４は、図３の映像表示ユニット１０２に対応している。機体駆動部２０７は、図３の左右のモータエンコーダ１０４－１，１０４－２と、左右のモータ１０５－１，１０５－２に対応している。
　自律移動制御部２０１は、ロボット装置１０（機体）の自律移動に関する制御を行う。自律移動制御部２０１は、自己位置推定部２１１、周辺環境認識部２１２、自律移動行動計画部２１３、及び機体位置姿勢制御部２１４を少なくとも有する。
　自己位置推定部２１１は、センサ部２０２からのセンサデータに基づいて、想定されるエリア内における機体の位置情報を計算する機能を有する。周辺環境認識部２１２は、センサ部２０２からのセンサデータに基づいて、障害物や周辺の人物などを認識する機能を有する。
　自律移動行動計画部２１３は、通信制御部２０３からの動作指示データ、又は予め機体に記憶された動作指示データに基づいて、現在時刻における自律移動の行動計画を行う機能を有する。機体位置姿勢制御部２１４は、自律移動行動計画部２１３により決定された自律移動の行動計画（軌跡）に基づいて、機体の位置と姿勢を制御する機能を有する。
　動作指示データには、例えば、次のような情報が含まれる。すなわち、ロボット装置１０が差動二輪駆動型である場合には、時刻、位置（X,Y）、姿勢（Heading）、速度（X）、角速度などに関する情報が、動作指示データに含まれる。
　なお、ロボット装置１０が全方位移動型である場合には、時刻、位置（X,Y）、姿勢（Heading）、速度（X,Y）、角速度などに関する情報が、動作指示データに含まれる。また、動作指示データとしては、映像同期指示、ディスプレイ姿勢、ディスプレイ角速度などの情報が含まれてもよい。
　センサ部２０２は、空間情報や時間情報等のセンシングを行い、そのセンシングの結果得られるセンサデータを自律移動制御部２０１に供給する。センサ部２０２は、IMU２２１、カメラ２２２、距離センサ２２３、及び車輪エンコーダ２２４を少なくとも有する。
　IMU２２１は、３次元の角速度と加速度を測定可能な慣性計測装置（IMU：Inertial Measurement Unit）である。IMU２２１からのセンサデータは、機体のヨー角（Yaw）の姿勢制御に用いられる。カメラ２２２は、光学系やイメージセンサ、信号処理回路（信号処理部ともいう）などから構成され、機体の周辺の環境を撮影可能である。カメラ２２２からのセンサデータは、機体の周辺の人物や物体を検出するために用いられる。
　イメージセンサは、イメージセンサ内のDSP（Digital Signal Processor）において、ノイズ除去などの簡単な画像処理が実行される種類のものの他、さらに画像データを用いた顔認証などの複雑な処理を行い出力するようなものであってもよい。以下、後者の種類のイメージセンサについて説明を加える。イメージセンサは、画素アレイによって構成される撮像部、コントロール部、信号処理部、DSP（処理部ともいう）、メモリ、セレクタ（出力部ともいう）等を有する。
　信号処理部は、撮像部から読み出されたデジタルの画像データ又はメモリから読み出されたデジタルの画像データ（以下、処理対象の画像データという）に対して種々の信号処理を実行する。例えば、処理対象の画像データがカラー画像である場合、信号処理部は、この画像データをYUVの画像データやRGBの画像データなどにフォーマット変換する。また、信号処理部は、例えば、処理対象の画像データに対し、ノイズ除去やホワイトバランス調整等の処理を必要に応じて実行する。その他、信号処理部は、処理対象の画像データに対し、DSPがその画像データを処理するのに必要となる種々の信号処理（前処理ともいう）を実行する。
　DSPは、例えば、メモリに格納されているプログラムを実行することで、ディープニューラルネットワーク（DNN）を利用した機械学習によって作成された学習済みモデルを用いて各種処理を実行する処理部として機能する。例えば、DSPは、メモリに記憶されている学習済みモデルに基づいた演算処理を実行することで、メモリに記憶されている辞書係数と画像データとを掛け合わせる処理を実行する。このような演算処理により得られた結果（演算結果）は、メモリ及び／又はセレクタへ出力される。なお、演算結果には、学習済みモデルを用いた演算処理を実行することで得られた画像データや、その画像データから得られる各種情報（メタデータ）が含まれ得る。また、DSPには、メモリへのアクセスを制御するメモリコントローラが組み込まれていてもよい。
　演算処理には、例えば、ニューラルネットワーク計算モデルの一例である学習済みの学習モデルを利用したものが存在する。例えば、DSPは、学習済みの学習モデルを用いて、各種処理であるDSP処理を実行することもできる。例えば、DSPは、メモリから画像データを読み出して学習済みの学習モデルに入力し、学習済みモデルの出力結果として顔の輪郭や顔画像の領域などである顔位置を取得する。また、顔の他、対象の全体像から、対象が審判など特定の人物であるかや、その対象のジェスチャの認識を行ってもよい。
　また、学習済みの学習モデルには、学習データを用いて、人物の顔位置の検出などを学習したDNNやサポートベクタマシンなどが含まれる。学習済みの学習モデルは、判別対象のデータである画像データが入力されると、判別結果を特定するアドレスなどの領域情報を出力する。なお、DSPは、学習データを用いて学習モデル内の各種パラメータの重み付けを変更することで学習モデルを更新したり、複数の学習モデルを用意しておき演算処理の内容に応じて使用する学習モデルを変更したり、外部の装置から学習済みの学習モデルを取得または更新したりして、上記演算処理を実行することができる。
　なお、DSPが処理対象とする画像データは、画素アレイ部から通常に読み出された画像データであってもよいし、この通常に読み出された画像データの画素を間引くことでデータサイズが縮小された画像データであってもよい。若しくは、画素アレイ部に対して画素を間引いた読み出しを実行することで通常よりも小さいデータサイズで読み出された画像データであってもよい。なお、ここでの通常の読み出しとは、画素を間引かずに読み出すことであってよい。
　メモリは、撮像部から出力された画像データ、信号処理部で信号処理された画像データ、DSPで得られた演算結果等を必要に応じて記憶する。また、メモリは、DSPが実行する学習済みの学習モデルのアルゴリズムをプログラム及び辞書係数として記憶する。また、メモリは、ISO(International Organization for Standardization)感度、露光時間、フレームレート、フォーカス、撮影モード、切出し範囲等を記憶してもよい。すなわち、メモリは、各種撮像情報を記憶し得る。
　セレクタは、例えばコントロール部からの選択制御信号に従うことで、DSPから出力された画像データやメモリに記憶されている画像データを周辺環境認識部２１２へ出力する。
　上記説明したように、イメージセンサにおいて、学習モデルによる顔位置の抽出やジェスチャ認識により、周辺環境認識部２１２において行う処理の一部または全部を行ってもよい。イメージセンサにおいてこれらの処理を行わせる場合、後段の周辺環境認識部２１２等の処理に合わせて、イメージセンサにおいていずれの処理を行わせるか、又はどのような形式で画像データを出力するかが調整される。
　このようなイメージセンサを採用することによって、後段の処理の負担を軽減でき、周辺環境認識部２１２に相当する構成において比較的安価な装置を採用する場合であっても複雑な処理をおこなうことができる他、さらに全体の処理の速度の高速化を図ることができる。
　距離センサ２２３は、LiDAR(Light Detection and Ranging)等の距離センサである。距離センサ２２３からのセンサデータは、機体の進行方向にある障害物との衝突を回避するために用いられる。なお、距離センサ２２３は、機体の前方にのみ設置するほか、例えば、全方位に設置しても構わない。車輪エンコーダ２２４は、機体（車両）の進行方向における移動量を検出ために用いられる。なお、車輪エンコーダ２２４は、モータに内蔵されるほか、別体で構成されても構わない。
　通信制御部２０３は、ネットワークを介して他の機器と通信を行い、受信データを自律移動制御部２０１又は映像表示部２０４に供給する。ここでの通信方式には、セルラー方式の通信（例えばLTE-Advancedや5G等）や、無線LAN(Local Area Network)などの無線通信が含まれる。通信制御部２０３は、映像受信部２３１、及び機体制御指示受信部２３２を少なくとも有する。
　映像受信部２３１は、ネットワークを介してサーバから配信される映像データを受信し、映像表示部２０４に供給する。機体制御指示受信部２３２は、機体の動きを規定した軌跡データや、受信した映像データ又は予め記憶した映像データと機体の動きとを時刻同期させる動作指示データを受信し、自律移動制御部２０１に供給する。
　映像表示部２０４は、自律移動制御部２０１からの制御に従い、映像データに応じた映像の表示を行い、ロボット装置１０（機体）の動作と協調した映像が表示される。すなわち、ロボット装置１０は、予め設定された軌跡を移動するように制御されるとともに、任意の設定された場所又は時刻で、映像の表示とディスプレイの姿勢が制御される。
　例えば、ロボット装置１０の旋回時（例えば超信地旋回時）の回転速度に比例して、映像表示部２０４に表示される映像が拡大又は縮小されるように表示が制御される。また、ロボット装置１０が超信地旋回などの回転を行うに際し、当該回転に対して、映像表示部２０４に表示される映像が定位して見えるように表示が制御される。映像表示部２０４は、映像描画部２４１、及びディスプレイ２４２を少なくとも有する。
　映像描画部２４１は、自律移動制御部２０１からの表示指示データに基づき、映像データの表示制御を行い、映像をディスプレイ２４２に表示させる。表示指示データは、センサ部２０２からのセンサデータ、又は予め用意された走行データに基づいた機体の位置姿勢情報を含む。映像データは、映像受信部２３１により受信された映像データ、又は予め記憶された映像データである。表示制御としては、拡大縮小や、回転、色調変化などの映像描画が制御される。
　ディスプレイ２４２は、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイなどのディスプレイである。また、ディスプレイ２４２として、LED(Light Emitting Diode)アレイを用いても構わない。
　ディスプレイ姿勢制御部２０５は、自律移動制御部２０１からの制御に従い、ディスプレイ２４２の姿勢を制御する。ディスプレイ姿勢制御部２０５は、アクチュエータ制御部２５１、及びアクチュエータ２５２を少なくとも有する。
　アクチュエータ制御部２５１は、自律移動制御部２０１からのディスプレイ姿勢指示データに基づき、アクチュエータ２５２を動作させることで、ディスプレイ２４２の姿勢を、目標値に応じた姿勢に変化させる。ディスプレイ姿勢指示データは、機体の移動と同期した指示である。
　アクチュエータ２５２は、リニアアクチュエータなどの１又は複数の駆動部を有する。アクチュエータ２５２は、少なくとも１軸又は２軸で駆動することにより、ディスプレイ２４２の姿勢を調整するための機構とされる。
　機体制御部２０６は、自律移動制御部２０１からの制御に従い、機体駆動部２０７（の各モータの速度）を制御する。機体制御部２０６は、駆動形式指示変換部２６１、及びモータ速度制御部２６２を少なくとも有する。
　駆動形式指示変換部２６１は、自律移動制御部２０１からの速度・角速度指示データを、機体の駆動形式に応じて変換し、その結果得られる速度指示情報を、モータ速度制御部２６２に供給する。駆動形式には、差動二輪駆動型、メカナムホイール、オムニホイールなどの形式が含まれる。速度・角速度指示データは、X,Y方向の速度制御指示とヨー角（Yaw）の速度指示値を含む。速度指示情報は、機体駆動部２０７における各モータの速度を含む。
　モータ速度制御部２６２は、駆動形式指示変換部２６１からの速度指示情報に基づき、機体駆動部２０７における各モータのモータドライバに対するトルク指示値を出力する。
　機体駆動部２０７は、機体の駆動形式に従い、モータドライバ２７１とモータ２７２がレイアウトされる。駆動形式には、差動二輪駆動型などの形式が含まれる。例えば、駆動形式が差動二輪駆動型である場合、機体駆動部２０７は、モータドライバ２７１－１，２７１－２、及びモータ２７２－１，２７２－２から構成される。
　モータドライバ２７１－１は、機体制御部２０６（のモータ速度制御部２６２）からのトルク指示値に従い、モータトルクを発生させて、モータ２７２－１を動作させる。モータドライバ２７１－２は、機体制御部２０６（のモータ速度制御部２６２）からのトルク指示値に従い、モータトルクを発生させて、モータ２７２－２を動作させる。
　安全機能制御部２０８は、１又は複数の安全停止機能から構成される。例えば、安全機能制御部２０８は、自己診断部２８１を有する。自己診断部２８１は、機体を構成するセンサや計算機、アクチュエータ等の異常を検出し、当該異常が発生した場合に、停止指示を、機体駆動部２０７に出力する。この異常の検出に際しては、いわゆるウォッチドッグ（WatchDog）やセンサ異常値、温度上昇などが検出される。この自己診断機能を用いることで、異常が発生した場合に、安全に、機体を自動的に停止させることができる。
　ここでは、安全停止機能の代表的なものとして、自己診断機能を例示したが、ジオフェンス機能、無線停止機能、障害物停止機能などの他の機能を用いてもよい。ジオフェンス機能は、想定される機体の行動エリアをジオフェンスで区切って、当該ジオフェンスを機体が超えた場合に自動的に停止させる。例えば、スポーツを行うためのコートで、ロボット装置１０が用いられる場合に、当該コートの外周に設備を設置して、機体に対する停止指示を外部から送信する構成であっても構わない。
　無線停止機能は、機体が無線で非常停止信号を受信した場合に、自動的に停止させる。非常停止信号の受信に用いられる無線は、非常停止専用の無線でもよいし、あるいは通信機能を介したものでもよい。障害物停止機能は、機体に搭載した距離センサからのセンサデータに基づき、衝突が予測される場合には、自動的に停止させる。
　なお、図１３に示した構成は一例であり、映像に応じた音を出力するスピーカなどの他の構成要素が含まれても構わない。また、映像データや動作指示データなどのデータを予め記憶（保存）しておく場合には、半導体メモリやHDD(Hard Disk Drive)などの記憶装置が設けられる。
（協調制御処理）
　次に、図１４のフローチャートを参照して、ロボット装置１０により実行される、自律移動及び映像表示の協調制御処理の流れを説明する。
　ロボット装置１０では、外部装置（サーバ等）からの動作指示データと映像データが受信され（Ｓ１１）、動作開始時刻まで待機する（Ｓ１２）。ロボット装置１０では、動作開始時刻となったとき（Ｓ１２の「YES」）、ステップＳ１３以降の処理が実行される。
　ステップＳ１３では、自律移動制御部２０１が、センサ部２０２からのセンサデータを取得する。
　ステップＳ１４では、自己位置推定部２１１が、センサデータに基づき、現在の自己位置を推定する。この自己位置推定では、取得済みのセンサデータのうち、IMU２２１と車輪エンコーダ２２４からのセンサデータを用いて、初期位置からの移動量が計算される。ここでは、GPS(Global Positioning System)のような絶対位置を得ることができるセンサを搭載している場合、その位置情報を自己位置としてもよいし、あるいは自己位置推定の際に組み合わせてもよい。
　ステップＳ１５では、周辺環境認識部２１２が、センサデータに基づき、周辺環境を認識する。この周辺環境認識では、取得済みのセンサデータのうち、カメラ２２２と距離センサ２３３からのセンサデータを用いて、障害物や周辺の人物（ターゲットとなる人）、オブジェクトなどが認識される。ターゲットが人である場合、ターゲットの姿勢を認識して、当該ターゲットのとるジェスチャを認識する。ここでは、カメラ２２２又は距離センサ２３３を単体で用いてそのセンサデータを用いた認識処理が行われてもよいし、あるいはそれらのセンサの組み合わせを用いてもよい。
　ステップＳ１６では、自律移動行動計画部２１３が、動作指示データ、現在時刻、自己位置推定の結果、及び周辺環境認識の結果などの情報に基づき、自律移動の行動を計画する。動作指示データは、あらかじめ設定されるか、又は外部装置から逐次送信される。
　この行動計画では、例えば、人物（ターゲットとなる人）に追従する処理を行う場合には、周辺環境認識の結果に基づき、ロボット装置１０が現在行うべき行動が決定され、その行動計画に従い、人物を追従するために必要な動作軌跡指示が生成される。また、ジェスチャ認識による機体の動作と映像表示については、例えば、周辺環境認識の結果から得られるジェスチャ情報に基づき、映像表示の内容と動作指示に応じた指示データが生成される。
　ステップＳ１７では、機体位置姿勢制御部２１４が、機体の位置と姿勢を制御する。この機体位置姿勢制御では、行動計画に従って生成された動作軌跡指示に基づき、軌跡を追従するために必要な速度と角速度が算出されて指示される。
　ステップＳ１８では、自律移動制御部２０１が、映像の指示演算を行う。この映像指示演算では、機体位置姿勢制御により指示される速度と角速度の指示、及び現在の位置姿勢情報に基づき、予め設定された条件に応じた映像が生成される。
　映像の設定条件としては、例えば、次のような条件が含まれる。すなわち、機体が動いていても静止しているように見える映像、複数の機体が会話（映像の受け渡し）をしているような映像、複数のロボット装置（機体）が協調動作することで擬似的に大画面を構成するような映像、人物に追従して動いている際に動物などの生き物が追いかけているような映像、あるいは、ジェスチャに応答したキャラクタの映像などが条件として設定される。また、広告などの映像を表示する場合には、広告を表示すべきターゲットを、指示又は認識処理等によって判別し、その対象に向けた表示を行う。選手紹介などの映像を表示する場合には、その選手の所属するチームを応援する観客席から見えやすいように映像表示を行う。この際にディスプレイ２４２の姿勢制御を併せて行ってもよい。
　ステップＳ１９では、機体制御部２０６が、機体駆動部２０７を制御することで、モータが駆動される。また、ステップＳ２０では、映像表示部２０４が、自律移動制御部２０１からの指示に従い、映像を表示する。これにより、ロボット装置１０では、その自律移動の動作とディスプレイ２４２の映像表示とが協調して制御される。また、ロボット装置１０では、ディスプレイ２４２の映像表示と姿勢が、自律移動の動作と協調して変化される。
　ここでは、例えば、ロボット装置１０の旋回時の回転速度に比例して、映像表示部２０４に表示される映像が拡大又は縮小されるように表示を制御することができる。また、ロボット装置１０が超信地旋回などの回転を行うに際し、当該回転に対して、映像表示部２０４に表示される映像が定位して見えるように表示を制御してもよい。
　また、ロボット装置１０では、あらかじめ設定したユーザや、カメラ２２２により撮影した撮影画像に画像解析処理を施して検出された人物であって機体に最も距離が近い人物などの、任意の手段で選択された対象の人物に追従し、当該人物に画面が常に向けられるように制御することができる。このとき、ロボット装置１０では、対象の人物に対する追従走行中に、追従していることを表現する映像を表示してもよい。また、任意の手段で選択されるターゲットは人物に限らず、ボールなどの物体であってもよい。この例の場合、ロボット装置１０は、ボールを追従することになる。
　なお、ジェスチャ認識に応じた処理に関しては、図１５を参照して後述する。また、ロボット装置１０は、ディスプレイ２４２を、常に観客が存在する方向などの特定の方向に向けながら、走行するようにしてもよい。ロボット装置１０は、観客が手を振るなどの所定の動作を行った際にその動作を認識して、その認識結果に基づき、手を振りかざすような所定の動作に応じた映像表現を行ったり、ディスプレイ２４２の姿勢を変化させたりしてもよい。
　ロボット装置１０では、動作完了時刻になるまで、上述したステップＳ１３乃至Ｓ２０の処理が繰り返される（Ｓ２１）。ロボット装置１０では、動作完了時刻になったとき（Ｓ２１の「YES」）、処理が終了される。なお、処理を終了した後、ロボット装置１０は停止するが、映像表示に関しては、サーバ等の外部装置からの指示に従い、表示を継続しても構わない。
　以上、自律移動及び映像表示の協調制御処理の流れを説明した。この協調制御処理では、ロボット装置１０の位置と姿勢に関する位置姿勢情報に基づき、ロボット装置１０の自律移動の動作と、ディスプレイ２４２の映像表示（と姿勢）が協調して制御される。これにより、より適切に、自律移動に適合した情報を表示することができる。
（画面角度制御処理）
　次に、図１５のフローチャートを参照して、ロボット装置１０により実行される、ジェスチャ認識に応じた画面角度制御処理の流れを説明する。
　ステップＳ３１では、自己位置推定部２１１が、センサデータに基づき、現在の自己位置を推定する。ステップＳ３２では、機体制御部２０６は、機体駆動部２０７を制御することで、機体が移動する。
　ステップＳ３３では、周辺環境認識部２１２が、センサデータに基づき、ターゲットとなる人の姿勢を認識して、当該ターゲットのジェスチャを認識する。このジェスチャ認識では、公知の技術を用いることができる。ステップＳ３４の判定処理では、ジェスチャ認識の結果に基づき、ジェスチャが検出されたかどうかが判定される。
　ステップＳ３４の判定処理でジェスチャが未検出であると判定された場合、処理は、ステップＳ３１に戻り、ステップＳ３１乃至Ｓ３３の処理が繰り返される。一方で、ステップＳ３４の判定処理でジェスチャが検出されたと判定された場合、処理は、ステップＳ３５に進められる。
　ステップＳ３５では、ディスプレイ姿勢制御部２０５は、自律移動制御部２０１からの指示に基づき、ディスプレイ２４２の姿勢を制御して、画面の角度を、ジェスチャに応じた角度に修正する。ステップＳ３６では、映像表示部２０４が、自律移動制御部２０１からの指示に基づき、ジェスチャに応じた映像を表示して画面の表示を行う。
　これにより、ロボット装置１０では、あらかじめ設定したユーザや、カメラ２２２により撮影した撮影画像に画像解析処理を施して検出された人物であって機体に最も距離が近い人物などの、任意の手段で選択された対象の人物のジェスチャを認識し、認識した指示に従った動作が行われる。
　例えば、ロボット装置１０では、人物（ターゲットとなる人）のジェスチャを認識した際に、ディスプレイ２４２の姿勢を変化させて、ジェスチャを理解したような表現を行ったり、あるいは、表示する映像によってジェスチャを理解したことをターゲットとなる人に対して表現したりしてもよい。
　以上、ジェスチャ認識に応じた画面角度制御処理の流れを説明した。
＜２．変形例＞
　なお、上述した説明では、ロボット装置１０の駆動形式として、差動二輪駆動型を例示したが、全方位移動型などの駆動形式であってもよい。上述した説明では、ディスプレイ２４２の姿勢を変化させる際に、１軸で駆動する場合を例示したが、１軸に限らず、２軸などで駆動してもよい。上述した説明では、ディスプレイ２４２に表示する表示情報として、映像を一例に説明したが、画像やテキストなどの情報であってもよい。
　本開示を適用したロボット装置１０は、自律移動制御部２０１等の制御部を有する情報処理装置であると捉えることができる。この制御部は、ロボット装置１０の内部に設けられることは勿論、外部装置に設けられてもよい。
　また、本開示を適用したロボット装置１０は、制御装置や、センサ装置、ディスプレイ装置、通信装置、移動機構などの複数の装置を組み合わせたシステム（情報処理システム）として捉えることもできる。ここで、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本開示を適用したロボット装置１０は、さらに掃除用のアタッチメントを備えることができる。この掃除用のアタッチメントは、モップ状のものであって、ロボット装置１０の前面、後面、側面、下面などに取り付けられることによって、ロボット装置１０が自律的に走行しながら、走行経路を掃除することができる。掃除する箇所は、走行経路として事前に与えられてもよく、また前述したようなジェスチャ認識によって、指示者の「ここを掃除しろ」といった指示を認識して掃除を行うようにしてもよい。さらに、掃除動作と映像表示とを協調して行うようにしてもよい。この場合、掃除を開始するとき、掃除中、掃除が完了したときにその旨の映像表示を行ってもよく、また掃除中に広告やその他の映像表示を行ってもよい。さらに映像表示ユニット１０２（のディスプレイ）の姿勢も併せて制御してもよい。また、掃除用のアタッチメントは、例示されたモップ状のものに限られず、塵取り形状のものなどその他のものを含む。
＜３．コンピュータの構成＞
　上述した一連の処理（図１４又は図１５に示した処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
　入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。
　また、図１４又は図１５に示した処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本開示は、以下のような構成をとることができる。
（１）
　ロボット装置の自律移動を制御する制御部と、
　前記ロボット装置の位置と姿勢に関する位置姿勢情報を取得する取得部と
　を備え、
　前記制御部は、取得した前記位置姿勢情報に基づいて、表示部に表示される表示情報の表示を制御する
　情報処理装置。
（２）
　前記制御部は、前記ロボット装置の動きと前記表示情報の表示を協調して制御する
　前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記表示情報の表示と前記表示部の姿勢を、自律移動の動作と協調して変化させる
　前記（２）に記載の情報処理装置。
（４）
　前記制御部は、複数のロボット装置が協調して動作するように制御する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記制御部は、前記複数のロボット装置のそれぞれが有する表示部を組み合わせて擬似的に所定の形状の画面を構成するように制御する
　前記（４）に記載の情報処理装置。
（６）
　前記表示部は、可動式であり、
　前記制御部は、前記表示部の姿勢を制御する
　前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記制御部は、前記ロボット装置の位置、又は周辺の人物の位置に関する位置情報に基づいて、前記表示部の姿勢を制御する
　前記（６）に記載の情報処理装置。
（８）
　前記制御部は、対象の人物のジェスチャ認識の結果に基づいて、前記表示部を制御する
　前記（２）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記制御部は、前記表示情報の表示と前記表示部の姿勢を制御する
　前記（８）に記載の情報処理装置。
（１０）
　前記制御部は、前記ロボット装置が予め設定された軌跡を移動するように制御するとともに、任意の設定された場所又は時刻で前記表示情報の表示と前記表示部の姿勢を制御する
　前記（３）に記載の情報処理装置。
（１１）
　前記制御部は、前記ロボット装置の旋回時の回転速度に基づいて、前記表示情報が拡大又は縮小されるように表示を制御する
　前記（１０）に記載の情報処理装置。
（１２）
　前記制御部は、前記ロボット装置の回転時に、当該回転に対して前記表示情報が定位して見えるように表示を制御する
　前記（１０）に記載の情報処理装置。
（１３）
　前記制御部は、前記ロボット装置が対象の人物を追従するように制御するとともに、当該人物に画面が向けられるように前記表示部の姿勢を制御する
　前記（３）に記載の情報処理装置。
（１４）
　前記表示部をさらに備え、
　前記表示情報は、映像を含む
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記ロボット装置を駆動する駆動部をさらに備える
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　センサ部をさらに備え、
　前記制御部は、前記センサ部からのセンサデータに基づいて、前記ロボット装置の自律移動と前記表示部を制御する
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記ロボット装置として構成される
　前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　情報処理装置が、
　ロボット装置の自律移動を制御し、
　前記ロボット装置の位置と姿勢に関する位置姿勢情報を取得し、
　取得した前記位置姿勢情報に基づいて、表示部に表示される表示情報の表示を制御する
　情報処理方法。
（１９）
　コンピュータを、
　ロボット装置の自律移動を制御する制御部と、
　前記ロボット装置の位置と姿勢に関する位置姿勢情報を取得する取得部と
　を備え、
　前記制御部は、取得した前記位置姿勢情報に基づいて、表示部に表示される表示情報の表示を制御する
　情報処理装置として機能させるプログラム。
（２０）
　表示情報を表示する表示部と、
　ロボット装置を駆動する駆動部と、
　センシングにより得られるセンサデータを出力するセンサ部と、
　前記センサデータに基づいて、前記ロボット装置の自律移動を制御する制御部と
　を備え、
　前記制御部は、前記ロボット装置の位置と姿勢に関する位置姿勢情報に基づいて、前記表示情報の表示を制御する
　情報処理システム。
　１０　ロボット装置，　１０１　制御ユニット，　１０２　映像表示ユニット，　１０３　画面昇降ユニット，　１０４－１　左モータエンコーダ，　１０４－２　右モータエンコーダ，　１０５－１　左モータ，　１０５－２　右モータ，　１０６－１乃至１０６－３　センサ，　１０７　バッテリユニット，　２０１　自律移動制御部，　２０２　センサ部，　２０３　通信制御部，　２０４　映像表示部，　２０５　ディスプレイ姿勢制御部，　２０６　機体制御部，　２０７　機体駆動部，　２０８　安全機能制御部，　２１１　自己位置推定部，　２１２　周辺環境認識部，　２１３　自律移動行動計画部，　２１４　機体位置姿勢制御部，　２２１　IMU，　２２２　カメラ，　２２３　距離センサ，　２２４　車輪エンコーダ，　２３１　映像受信部，　２３２　機体制御指示受信部，　２４１　映像描画部，　２４２　ディスプレイ，　２５１　アクチュエータ制御部，　２５２　アクチュエータ，　２６１　駆動形式指示変換部，　２６２　モータ速度制御部，　２７１－１，２７１－２　モータドライバ，　２７２－１，２７２－２　モータ，　２８１　自己診断部，　１００１　CPU

Claims (20)

  1. 　ロボット装置の自律移動を制御する制御部と、
    　前記ロボット装置の位置と姿勢に関する位置姿勢情報を取得する取得部と
    　を備え、
    　前記制御部は、取得した前記位置姿勢情報に基づいて、表示部に表示される表示情報の表示を制御する
    　情報処理装置。
  2. 　前記制御部は、前記ロボット装置の動きと前記表示情報の表示を協調して制御する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記表示情報の表示と前記表示部の姿勢を、自律移動の動作と協調して変化させる
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、複数のロボット装置が協調して動作するように制御する
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記複数のロボット装置のそれぞれが有する表示部を組み合わせて擬似的に所定の形状の画面を構成するように制御する
    　請求項４に記載の情報処理装置。
  6. 　前記表示部は、可動式であり、
    　前記制御部は、前記表示部の姿勢を制御する
    　請求項２に記載の情報処理装置。
  7. 　前記制御部は、前記ロボット装置の位置、又は周辺の人物の位置に関する位置情報に基づいて、前記表示部の姿勢を制御する
    　請求項６に記載の情報処理装置。
  8. 　前記制御部は、対象の人物のジェスチャ認識の結果に基づいて、前記表示部を制御する
    　請求項２に記載の情報処理装置。
  9. 　前記制御部は、前記表示情報の表示と前記表示部の姿勢を制御する
    　請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記ロボット装置が予め設定された軌跡を移動するように制御するとともに、任意の設定された場所又は時刻で前記表示情報の表示と前記表示部の姿勢を制御する
    　請求項３に記載の情報処理装置。
  11. 　前記制御部は、前記ロボット装置の旋回時の回転速度に基づいて、前記表示情報が拡大又は縮小されるように表示を制御する
    　請求項１０に記載の情報処理装置。
  12. 　前記制御部は、前記ロボット装置の回転時に、当該回転に対して前記表示情報が定位して見えるように表示を制御する
    　請求項１０に記載の情報処理装置。
  13. 　前記制御部は、前記ロボット装置が対象の人物を追従するように制御するとともに、当該人物に画面が向けられるように前記表示部の姿勢を制御する
    　請求項３に記載の情報処理装置。
  14. 　前記表示部をさらに備え、
    　前記表示情報は、映像を含む
    　請求項１に記載の情報処理装置。
  15. 　前記ロボット装置を駆動する駆動部をさらに備える
    　請求項１に記載の情報処理装置。
  16. 　センサ部をさらに備え、
    　前記制御部は、前記センサ部からのセンサデータに基づいて、前記ロボット装置の自律移動と前記表示部を制御する
    　請求項１に記載の情報処理装置。
  17. 　前記ロボット装置として構成される
    　請求項１に記載の情報処理装置。
  18. 　情報処理装置が、
    　ロボット装置の自律移動を制御し、
    　前記ロボット装置の位置と姿勢に関する位置姿勢情報を取得し、
    　取得した前記位置姿勢情報に基づいて、表示部に表示される表示情報の表示を制御する
    　情報処理方法。
  19. 　コンピュータを、
    　ロボット装置の自律移動を制御する制御部と、
    　前記ロボット装置の位置と姿勢に関する位置姿勢情報を取得する取得部と
    　を備え、
    　前記制御部は、取得した前記位置姿勢情報に基づいて、表示部に表示される表示情報の表示を制御する
    　情報処理装置として機能させるプログラム。
  20. 　表示情報を表示する表示部と、
    　ロボット装置を駆動する駆動部と、
    　センシングにより得られるセンサデータを出力するセンサ部と、
    　前記センサデータに基づいて、前記ロボット装置の自律移動を制御する制御部と
    　を備え、
    　前記制御部は、前記ロボット装置の位置と姿勢に関する位置姿勢情報に基づいて、前記表示情報の表示を制御する
    　情報処理システム。
PCT/JP2021/029698 2020-08-25 2021-08-12 情報処理装置、情報処理方法、プログラム、及び情報処理システム WO2022044819A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022545639A JPWO2022044819A1 (ja) 2020-08-25 2021-08-12

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020142156 2020-08-25
JP2020-142156 2020-08-25

Publications (1)

Publication Number Publication Date
WO2022044819A1 true WO2022044819A1 (ja) 2022-03-03

Family

ID=80353152

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029698 WO2022044819A1 (ja) 2020-08-25 2021-08-12 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Country Status (2)

Country Link
JP (1) JPWO2022044819A1 (ja)
WO (1) WO2022044819A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003127078A (ja) * 2001-10-19 2003-05-08 Komatsu Ltd 作業ロボットの教示装置および教示方法。
JP2010082714A (ja) * 2008-09-30 2010-04-15 Mitsubishi Heavy Ind Ltd コミュニケーションロボット

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003127078A (ja) * 2001-10-19 2003-05-08 Komatsu Ltd 作業ロボットの教示装置および教示方法。
JP2010082714A (ja) * 2008-09-30 2010-04-15 Mitsubishi Heavy Ind Ltd コミュニケーションロボット

Also Published As

Publication number Publication date
JPWO2022044819A1 (ja) 2022-03-03

Similar Documents

Publication Publication Date Title
US11760484B2 (en) Detecting optical discrepancies in captured images
US11797009B2 (en) Unmanned aerial image capture platform
US10645300B2 (en) Methods and apparatus for image processing
US11283986B2 (en) Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
US11740630B2 (en) Fitness and sports applications for an autonomous unmanned aerial vehicle
US20220050478A1 (en) Image Space Motion Planning Of An Autonomous Vehicle
US10357715B2 (en) Racing simulation
US20220019248A1 (en) Objective-Based Control Of An Autonomous Unmanned Aerial Vehicle
US20180158197A1 (en) Object tracking by an unmanned aerial vehicle using visual sensors
CN104781873B (zh) 图像显示装置、图像显示方法、移动装置、图像显示系统
CN102289815B (zh) 检测多功能传感器设备的运动
KR100638367B1 (ko) 비행 스크린 기구의 비행 궤적 추적을 이용한 자동 영상디스플레이 장치
JP7025532B2 (ja) 衝突の検出、推定、および回避
JP2019507924A (ja) Ｕａｖ軌道を調整するシステム及び方法
WO2017055080A1 (en) System and method for supporting physical exercises
US20210192851A1 (en) Remote camera augmented reality system
WO2022044819A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2019202061A (ja) シミュレーションシステム及びプログラム
WO2021117606A1 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
WO2019201224A1 (en) Method to enhance first-person-view experience
WO2022196080A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861247

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022545639

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21861247

Country of ref document: EP

Kind code of ref document: A1