WO2022249563A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2022249563A1
WO2022249563A1 PCT/JP2022/004810 JP2022004810W WO2022249563A1 WO 2022249563 A1 WO2022249563 A1 WO 2022249563A1 JP 2022004810 W JP2022004810 W JP 2022004810W WO 2022249563 A1 WO2022249563 A1 WO 2022249563A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
tracking target
recognition
unit
tracked
Prior art date
Application number
PCT/JP2022/004810
Other languages
English (en)
French (fr)
Inventor
喜恵 堀内
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023523981A priority Critical patent/JPWO2022249563A1/ja
Publication of WO2022249563A1 publication Critical patent/WO2022249563A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program that allow the follower to follow the target by autonomous movement while appropriately catching it.
  • Patent Documents 1 and 2 disclose an autonomous mobile robot that follows a target (moving target) such as a moving person or object by autonomous movement.
  • the target to be tracked turns a corner, etc., if an obstacle is interposed between the target to be tracked and the autonomous mobile robot, it may not be possible to capture the target to be tracked, and the autonomous mobile robot may not be able to follow the target properly.
  • This technology was created in view of this situation, and allows the robot to follow the target through autonomous movement while appropriately capturing the target.
  • An information processing device or program includes a driving unit driven to follow a tracking target and a recognition unit that recognizes the tracking target, wherein the distance to the tracking target or the tracking target a recognition unit that changes a recognition algorithm for recognizing the tracked object based on the recognition accuracy of the tracked object based on the distance to the tracked object;
  • An information processing apparatus having a control unit for controlling, or a program for causing a computer to function as such an information processing apparatus.
  • An information processing method includes a driving step in which the driving unit of an information processing apparatus having a driving unit, a recognizing unit, and a control unit is driven to follow an object to be tracked; A recognition step of recognizing a tracked object, wherein the recognition algorithm for recognizing the tracked object is changed based on the distance to the tracked object or the recognition accuracy of the tracked object based on the distance to the tracked object. and a control step in which the control unit controls the driving of the driving step based on the position of the tracking target recognized in the recognition step.
  • the information processing device, information processing method, and program of the present technology are driven to follow a tracking target, recognize the tracking target, and determine the distance to the tracking target or the distance to the tracking target.
  • a recognition algorithm for recognizing the tracked object is changed based on the distance-based recognition accuracy of the tracked object, and the driving is controlled based on the recognized position of the tracked object.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an autonomous mobile robot to which the present technology is applied;
  • FIG. FIG. 10 is a diagram illustrating a situation in which the autonomous mobile robot cannot capture the target to be tracked;
  • FIG. 3B is a diagram illustrating the state of FIG. 2B when the obstacle is an object such as a narrow wall;
  • FIG. 10 is a diagram explaining another situation in which the autonomous mobile robot cannot capture the target to be tracked;
  • FIG. 10 is a diagram explaining another situation in which the autonomous mobile robot cannot capture the target to be tracked;
  • FIG. 4 is a diagram illustrating control for avoiding a state in which the autonomous mobile robot cannot capture a target to be tracked due to an obstacle;
  • FIG. 10 is a diagram illustrating control for avoiding a state in which the autonomous mobile robot cannot capture the target to be tracked because the target to be tracked is out of the capture range;
  • 2 is a flow chart showing the overall flow of follow-up processing executed by an autonomous mobile robot;
  • FIG. 9 is a flow chart exemplifying processing related to determination of the following position and posture of the autonomous mobile robot in step S14 of FIG. 8;
  • FIG. FIG. 2 is a block diagram showing a configuration example of hardware of a computer that executes a series of processes by a program;
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an autonomous mobile robot to which the present technology is applied.
  • the autonomous mobile robot 11 of the present embodiment in FIG. 1 moves autonomously so as to follow a target to be tracked while catching a moving object (moving body) such as a person as the target to be tracked.
  • a moving object moving body
  • the autonomous mobile robot 11 has a sensor section 21 , a tracking target recognition section 22 , a distance detection section 23 , a tracking target prediction section 24 , a movement control section 25 and a driving section 26 .
  • the sensor unit 21 includes a sensor that detects the position of the object to be tracked, and a sensor that detects obstacles in the surrounding environment.
  • the sensor unit 21 supplies sensor data output from various sensors to the tracking target recognition unit 22 .
  • the tracking target recognition unit 22 recognizes the tracking target based on the sensor data from the sensor unit 21 and supplies information such as the position of the recognized tracking target to the distance detection unit 23 and the tracking target prediction unit 24 .
  • the tracking target recognition unit 22 switches the recognition algorithm for recognizing the tracking target to an appropriate recognition algorithm according to the distance, etc., from the autonomous mobile robot 11 to the tracking target supplied from the distance detection unit 23 .
  • the distance detection unit 23 calculates the distance from the autonomous mobile robot 11 to the tracking target (also referred to as the tracking target distance or tracking distance) based on information about the tracking target from the tracking target recognition unit 22 .
  • the distance detection unit 23 supplies the calculated distance of the tracking target to the tracking target recognition unit 22 .
  • the tracking target prediction unit 24 predicts the future trajectory of the tracking target based on the information about the tracking target from the tracking target recognition unit 22 .
  • the tracking target prediction unit 24 supplies the predicted trajectory of the tracking target (predicted trajectory) to the movement control unit 25 .
  • the movement control section 25 determines the position (following position) and posture for moving the autonomous mobile robot 11 based on the predicted trajectory from the tracking target prediction section 24 . After determining the follow-up position and orientation, the movement control unit 25 supplies the driving unit 26 with a drive signal (operation signal) for moving the autonomous mobile robot 11 to the follow-up position and orientation.
  • the drive unit 26 includes one or more actuators that operate a movement mechanism for the autonomous mobile robot 11 to move. For example, the moving direction and moving speed of the autonomous mobile robot 11 are controlled by controlling the driving speed of each actuator. From the movement control unit 25 to the drive unit 26, actuators are provided so that the autonomous mobile robot 11 moves along a trajectory for moving the autonomous mobile robot 11 from its current position and orientation to a target follow-up position and orientation. An operation signal is supplied to indicate the drive speed.
  • FIG. 2 is a diagram explaining a situation in which the autonomous mobile robot 11 (autonomous mobile robot to which the present technology is not applied) cannot capture the target to be followed.
  • an autonomous mobile robot 11 is a robot that autonomously moves following a target to be tracked.
  • a person 41 is a target to be tracked by the autonomous mobile robot 11 .
  • the trajectory 42 is a trajectory (path) along which the person 41 has moved or a trajectory to be moved.
  • Obstacle 51 represents any object that obstructs the passage of person 41, such as, for example, a ledge, a pillar, or a wall. In the example of FIG. 2, the obstacle 51 is a rectangular object.
  • the person 41 is walking along the trajectory 42 on the left side of the obstacle 51 on the drawing toward the upper side of the obstacle 51 on the drawing.
  • the autonomous mobile robot 11 follows the person 41 and moves behind the person 41 .
  • the upper side, lower side, right side, and left side on the drawing are simply referred to as upper side, lower side, right side, and left side.
  • FIG. 2B represents the state after a predetermined time has elapsed with respect to A in FIG.
  • the person 41 is moving along the trajectory 42 to the right of the obstacle 51 after turning right at the top left corner of the obstacle 51 .
  • the obstacle 51 intervenes between the autonomous mobile robot 11 and the person 41, and the autonomous mobile robot 11 cannot catch the person 41. A situation occurs.
  • the autonomous mobile robot 11 has a map of the surrounding area (arrangement of objects) with respect to the current position, and that the trajectory 42 through which the person 41 can pass is limited to one. At that time, the autonomous mobile robot 11 predicts that the person 41 is moving along the track 42 above the obstacle 51 , and the autonomous mobile robot 11 also moves along the track 42 to the upper left corner of the obstacle 51 . can turn right at the corner to reacquire person 41 .
  • trajectory 42 is not limited to one, it is difficult for the autonomous mobile robot 11 to re-capture the person 41 after the state of B in FIG. 2 is reached.
  • FIG. 3 is a diagram showing the state of B in FIG. 2 when the obstacle 52 in FIG. 2 is an object such as a narrow wall. Obstacle 52 is a narrow object placed in place of obstacle 52 in FIG. That is, FIG. 3 represents a state in which the person 41 turns to the right at the upper left corner of the obstacle 52, similar to the movement of the person 41 from FIG. 2A to FIG. 2B.
  • an obstacle 52 is interposed between the autonomous mobile robot 11 and the person 41, and the autonomous mobile robot 11 cannot capture the person 41.
  • the autonomous mobile robot 11 cannot predict whether the trajectory 42 after the person 41 turns to the right at the upper right corner of the obstacle 52 is rightward or downward. Therefore, it becomes difficult for the autonomous mobile robot 11 to recapture the person 41 even after turning right at the upper left corner of the obstacle 51 .
  • FIGS. 4A and 4B and FIGS. 5A and 5B are diagrams explaining other situations in which the autonomous mobile robot 11 cannot capture the target to be tracked.
  • the autonomous mobile robot 11 is a robot that autonomously moves following a target to be tracked.
  • a person 41 is a target to be tracked by the autonomous mobile robot 11 .
  • a trajectory 42 is a trajectory along which the person 41 has moved or a trajectory to be moved.
  • a capture range 61 represents a range in which the autonomous mobile robot 11 can capture the target to be tracked.
  • the person 41 is walking upward along the trajectory 42 .
  • the autonomous mobile robot 11 follows the person 41 and moves behind the person 41 while capturing the person 41 within the capture range 61 .
  • FIG. 4B represents the state after a predetermined time has elapsed with respect to A in FIG.
  • the person 41 is moving toward the right side along the trajectory 42 after turning to the right side. At this time, if the person 41 leaves the capture range 61 , a situation occurs in which the autonomous mobile robot 11 cannot capture the person 41 .
  • the person 41 is walking upward along the trajectory 42 as in A of FIG.
  • the autonomous mobile robot 11 follows the person 41 and moves behind the person 41 while capturing the person 41 within the capture range 61 .
  • FIG. 5 represents the state after a predetermined time has elapsed with respect to A in FIG.
  • the person 41 is moving downward along the trajectory 42 after turning clockwise. At this time, if the person 41 leaves the capture range 61 , a situation occurs in which the autonomous mobile robot 11 cannot capture the person 41 .
  • the trajectory 42 may not be a specific trajectory restricted by obstacles or the like. In that case, it is also difficult for the autonomous mobile robot 11 to predict the trajectory 42 . Therefore, it is difficult for the autonomous mobile robot 11 to capture the person 41 again after the state of B in FIG. 4 or B in FIG. 5 is reached.
  • the present technology controls the autonomous mobile robot 11 so that the states of B in FIG. 2, FIG. 3, B in FIG. 4, and B in FIG. 5 do not occur.
  • FIG. 6 is a diagram illustrating the control of the autonomous mobile robot 11 to avoid the state of B in FIG. 2, that is, the state in which the autonomous mobile robot 11 cannot capture the target to be tracked due to an obstacle.
  • a in FIG. 6 is the same as A in FIG. 2, so description thereof is omitted.
  • FIG. 6B represents the state after a predetermined time has elapsed with respect to A in FIG.
  • the person 41 is moving along the trajectory 42 to the right side of the obstacle 51 after turning right at the upper left corner of the obstacle 51 .
  • the autonomous mobile robot 11 predicts in advance a trajectory 42 along which the person 41 is scheduled to move. As a result of the prediction, when it is predicted that the autonomous mobile robot 11 may not be able to catch the person 41 due to the obstacle 51 as shown in FIG. position). As a result, in FIG. 6B, the autonomous mobile robot 11 continues to capture the person 41 without being hindered by the obstacle 51 even after the person 41 turns to the right at the upper left corner of the obstacle 51. can follow.
  • the autonomous mobile robot 11 can avoid a state in which it cannot capture the person 41 due to the obstacle 52 by moving closer to the person 41 than the normal distance.
  • FIG. 7 shows the state of B in FIG. 4 and B in FIG. 5, that is, the state of the autonomous mobile robot 11 that is unable to capture the target to be tracked due to the target being out of the capture range.
  • 11 is a diagram for explaining control of No. 11.
  • FIG. A of FIG. 7 is the same as the state of A of FIG. 4, so description thereof is omitted.
  • FIG. 7B represents the state after a predetermined time has elapsed with respect to A in FIG.
  • the person 41 is moving toward the right side along the trajectory 42 after turning to the right side.
  • the autonomous mobile robot 11 predicts a trajectory 42 along which a person 41 will move. Based on the prediction result, the autonomous mobile robot 11 moves while changing the direction of the capture range 61 so that the person 41 does not leave the capture range 61 as shown in FIG. 4B or FIG. 5B.
  • C in FIG. 7 represents the state after a predetermined time has elapsed with respect to B in FIG.
  • the person 41 is moving along the trajectory 42 towards the right.
  • the autonomous mobile robot 11 moves while changing the orientation of the capture range 61 so that the person 41 does not leave the capture range 61 .
  • the autonomous mobile robot 11 may need to move a certain distance in order to change the orientation of the capture range 61 .
  • the autonomous mobile robot 11 changes the orientation of the capture range 61 by controlling the robot 11 to approach the person 41 at a distance shorter than the normal distance.
  • B' in FIG. 7 represents the state after a predetermined time has elapsed with respect to A in FIG. 7 when the autonomous mobile robot 11 is controlled to be closer than the normal distance to the target to be tracked.
  • a person 41 is moving toward the right side along a track 42 after turning to the right side.
  • the autonomous mobile robot 11 predicts a trajectory 42 along which a person 41 will move.
  • the normal movement of the autonomous mobile robot 11 and the change in the orientation of the capture range 61 may cause the person 41 to leave the capture range 61, the autonomous mobile robot 11 will move toward the person 41.
  • the capture range 61 is changed to an appropriate direction.
  • the autonomous mobile robot 11 may be controlled to move closer to the person 41 than the normal distance, similar to B' in FIG.
  • the capture range 61 may include only a part of the target to be tracked.
  • the recognition processing recognition algorithm
  • the present technology allows the autonomous mobile robot 11 to appropriately recognize (capture) a target to be tracked when the robot 11 approaches the target to be tracked at a distance greater than the normal distance.
  • the sensor unit 21 includes sensors for detecting the direction and distance of the object to be tracked with respect to the autonomous mobile robot 11 .
  • the sensor unit 21 includes one or more cameras that capture color images (RGB images) or monochrome images, and distance sensors capable of measuring distances to multiple measurement points such as LiDAR (Light Detection And Ranging) and ToF cameras. and at least one of The sensors included in the sensor unit 21 differ according to the processing performed by the tracking target recognition unit 22, and can be appropriately changed according to the application example of the autonomous mobile robot 11.
  • FIG. Note that the sensor of the sensor unit 21 is assumed to be fixed with respect to the autonomous mobile robot 11, but the present invention is not limited to this.
  • the tracking target recognition unit 22 recognizes the tracking target based on sensor data from the sensor unit 21 .
  • the processing (recognition algorithm) for recognizing the tracking target differs depending on the type of sensor of the sensor unit 21 and is changed according to the distance of the tracking target.
  • the recognition algorithm for recognizing the object to be followed is a normal recognition algorithm (recognition algorithm for normal distance) when the object to be followed is at a normal distance, and a recognition algorithm for short distance when the object to be followed is close. It is roughly divided into recognition algorithms.
  • the short-distance recognition algorithm is used when the autonomous mobile robot 11 (sensor) is too close to the target to be tracked, making it difficult to recognize the target to be tracked by the normal recognition algorithm.
  • the normal recognition algorithm includes, for example, the following first to fourth recognition algorithms, any of which can be adopted.
  • the first recognition algorithm is an algorithm when the sensor unit 21 has a camera.
  • the tracking target recognition unit 22 acquires an image captured by a camera (camera image) as sensor data.
  • the tracking target recognition unit 22 detects an image (image region) that matches the characteristics of the tracking target, such as the overall shape and color distribution, from within the region of the camera image obtained from the camera.
  • the tracking target recognizing unit 22 recognizes the tracking target existing in the capturing range 61, which is the capture range 61 of the camera.
  • the second recognition algorithm is an algorithm when the sensor unit 21 has a camera, and differs from the first recognition algorithm.
  • the tracking target recognition unit 22 acquires an image captured by a camera (camera image) as sensor data.
  • the tracking target recognition unit 22 detects an image area of a moving object (moving object) from within the area of the camera image based on the time change of the camera image acquired from the camera at predetermined time intervals. As a result, the tracking target recognizing unit 22 recognizes the tracking target existing in the capturing range 61, which is the capture range 61 of the camera.
  • the third recognition algorithm is an algorithm when the sensor unit 21 includes a ranging sensor.
  • the tracking target recognition unit 22 acquires distance measurement data, which is the result of distance measurement by the distance measurement sensor, as sensor data.
  • the ranging data is a set of data of distances to an object (measurement point) measured in a large number (plurality) of different azimuths (directions) with respect to the ranging sensor.
  • the tracking target recognizing unit 22 detects a moving object (moving body) area within the range of the range sensor based on the time change of the range data obtained from the range sensor at predetermined time intervals. As a result, the tracking target recognizing unit 22 recognizes the tracking target existing within the capturing range 61, which is the ranging range of the range sensor.
  • the fourth recognition algorithm is an algorithm when the sensor unit 21 includes a distance sensor, and is different from the third recognition algorithm.
  • the tracking target recognition unit 22 acquires distance measurement data, which is the result of distance measurement by the distance measurement sensor, as sensor data.
  • the tracking target recognizing unit 22 detects an area matching the shape of the tracking target from within the measurement range of the distance measurement data acquired from the distance measurement sensor. As a result, the tracking target recognizing unit 22 recognizes the tracking target existing within the capturing range 61, which is the ranging range of the range sensor.
  • Recognition algorithms for short distances include the following fifth to eighth recognition algorithms, any of which can be adopted.
  • the fifth recognition algorithm is an algorithm when the sensor unit 21 has a camera, and differs from the first recognition algorithm and the second recognition algorithm, which are normal recognition algorithms.
  • the tracking target recognition unit 22 acquires an image captured by a camera (camera image) as sensor data.
  • the tracking target recognizing unit 22 detects an image region (matching region) that matches the representative color of the tracking target from within the region of the camera image acquired from the camera.
  • matching regions that match the representative color of the tracking target are detected at a plurality of locations, as an example, the tracking target recognition unit 22 identifies the plurality of matching regions and one frame before the camera of the sensor unit 21 .
  • the image area (matching area) of the tracking target recognized from the camera image (the camera image used in the previous tracking target recognition process) acquired in the previous step is compared.
  • the tracking target recognition unit 22 recognizes the matching region with the closest area as the tracking target image region.
  • the matching area may be detected in the HSV color space so that the colors in the camera image are not affected by light.
  • the tracking target recognizing unit 22 recognizes the tracking target existing in the capturing range 61, which is the capture range 61 of the camera.
  • the sixth recognition algorithm is an algorithm when the sensor unit 21 has a camera, and differs from the first recognition algorithm and second recognition algorithm, which are normal recognition algorithms, and the fifth recognition algorithm, which is a recognition algorithm for short distances. .
  • the tracking target recognition unit 22 acquires an image captured by a camera (camera image) as sensor data.
  • the tracking target recognition unit 22 detects (extracts) an image region (matching region) that matches the partial or local feature amount of the tracking target image from within the camera image acquired from the camera.
  • the detection (matching) of the image area that matches the feature amount of the tracking target is performed in consideration of the enlargement or reduction of the tracking target image in the camera image.
  • the tracking target recognition unit 22 recognizes the detected matching area as the tracking target image area. As a result, the tracking target recognizing unit 22 recognizes the tracking target existing in the capturing range 61, which is the capture range 61 of the camera.
  • the seventh recognition algorithm is an algorithm when the sensor unit 21 has a camera. Different from the recognition algorithm.
  • the tracking target recognition unit 22 acquires an image captured by a camera (camera image) as sensor data.
  • the tracking target recognition unit 22 uses an inference model in machine learning to match the image region of the tracking target or the partial or local feature amount of the tracking target from within the region of the camera image acquired from the camera. Detect (extract) image regions (matching regions).
  • the tracking target recognition unit 22 recognizes the detected matching area as the tracking target image area.
  • the inference model has, for example, a neural network structure such as a CNN (Convolutional Neural Network).
  • the tracking target recognizing unit 22 recognizes the tracking target existing in the capturing range 61, which is the capture range 61 of the camera.
  • the eighth recognition algorithm is an algorithm when the sensor unit 21 includes a distance sensor, and differs from the third and fourth recognition algorithms, which are normal recognition algorithms.
  • the tracking target recognition unit 22 acquires distance measurement data, which is the result of distance measurement by the distance measurement sensor, as sensor data.
  • the tracking target recognizing unit 22 identifies the region of the moving object (moving object) that is closest to the position where the tracking target was last recognized from within the measurement range of the ranging data acquired from the ranging sensor as the tracking target region. Detect as As a result, the tracking target recognizing unit 22 recognizes the tracking target existing within the capturing range 61, which is the ranging range of the range sensor.
  • the tracking target recognizing unit 22 improves the recognition accuracy of the tracking target by adding conditions that match the size of the tracking target and the average moving speed of the tracking target when detecting the region of the tracking target. You may try to For example, when the object to be tracked is a person, the condition regarding the moving speed (walking speed) is, for example, about 2 m/s or less.
  • the distance detection unit 23 detects the distance to the autonomous mobile robot 11 that is the tracking target recognized by the tracking target recognition unit 22 (distance of the tracking target).
  • the tracking target recognition unit 22 uses any one of the first recognition algorithm, the second recognition algorithm, and the fifth to seventh recognition algorithms to Information (tracking target recognition information) to the distance detection unit 23 .
  • the distance detection unit 23 Based on the tracking target recognition information from the tracking target recognition unit 22, the distance detection unit 23 detects the parallax amount (shift amount) of the position of the tracking target image area in the camera image of each camera, and calculates the principle of triangulation. is used to detect (calculate) the distance of the tracking target. The detected tracking target distance is supplied to the tracking target recognition unit 22 .
  • the tracking target recognizing unit 22 uses the third recognition algorithm, the fourth recognition algorithm, or the eighth recognition algorithm to perform tracking in the capturing range 61 (the ranging range of the ranging sensor).
  • a target area is detected, and information (tracking target recognition information) specifying the position and range of the tracking target area in the ranging range of the ranging sensor is supplied to the distance detection unit 23 .
  • the distance detection unit 23 Based on the tracking target recognition information from the tracking target recognition unit 22 and the distance measurement data from the sensor unit 21 or the tracking target recognition unit 22, the distance detection unit 23 detects the tracking target area in the distance measurement range of the distance measurement sensor. The distance of each measurement point within is extracted, and for example, the average value of the distances of the extracted measurement points is detected (calculated) as the distance of the tracking target. The detected tracking target distance is supplied to the tracking target recognition unit 22 .
  • the tracking target recognition unit 22 can recognize the tracking target area in the capture range 61 using any one of the first recognition algorithm to the eighth recognition algorithm.
  • the distance detection unit 23 can detect the distance of the tracking target in the same manner as in the case where the sensor unit 21 has a plurality of cameras or the sensor unit 21 has a range sensor. .
  • the tracking target recognition unit 22 uses the first recognition algorithm and the second recognition algorithm. , and when the tracking target area is recognized by any one of the fifth recognition algorithm to the seventh recognition algorithm, the distance detection unit 23 measures the distance based on the tracking target recognition information from the tracking target recognition unit 22. Find the tracking target area in the sensor's ranging range. The distance detection unit 23 detects each measurement point in the area of the tracking target in the distance measurement range of the distance measuring sensor based on the obtained tracking target area and the distance measurement data from the sensor unit 21 or the tracking target recognition unit 22.
  • the average value of the distances of the extracted measurement points is detected (calculated) as the distance of the tracking target.
  • the detected tracking target distance is supplied to the tracking target recognition unit 22 . Note that even if the sensor unit 21 has a plurality of cameras, the tracking target recognition unit 22 uses any one of the first recognition algorithm, the second recognition algorithm, and the fifth to seventh recognition algorithms. When recognizing the area to be tracked by , the distance detection unit 23 can also detect the distance to the tracked target in the same manner as in the case where there is only one camera.
  • the tracking target recognition unit 22 switches recognition algorithms according to the distance of the tracking target from the distance detection unit 23 . For example, when the distance of the object to be tracked is equal to or greater than a predetermined threshold (distance threshold), the distance is determined as a normal distance suitable for recognizing the object to be tracked by the normal recognition algorithm.
  • the normal distance is, for example, a distance at which the tracking target recognition unit 22 can recognize the entire tracking target. If the distance of the tracking target is less than the distance threshold, the tracking target recognizing unit 22 determines that the tracking target is at a short distance suitable for recognition of the tracking target by the short-distance algorithm.
  • the tracking target recognition unit 22 is not limited to directly switching the tracking target recognition algorithm based on the distance of the tracking target.
  • the tracking target recognition unit 22 recognizes the tracking target by the normal recognition algorithm, if the recognition of the tracking target becomes unstable, or if it is determined that it will become unstable (tracking target recognition accuracy is reduced), the distance of the object to be tracked may be considered to be short (less than the distance threshold), and the normal recognition algorithm may be switched to the recognition algorithm for short distances to recognize the object to be tracked.
  • Examples of when the recognition of the tracking target becomes unstable include when the likelihood of the recognized tracking target is less than a predetermined threshold, or when the tracking target cannot be recognized for a predetermined time or longer.
  • a part of the tracked object is out of the capture range 61, or the distance of the tracked object is continuously maintained at a stable distance. may be shorter than a predetermined distance from .
  • the tracking target prediction unit 24 acquires tracking target recognition information specifying the position and range of the tracking target area in the capture range 61 from the tracking target recognition unit 22 .
  • the tracking target recognition information includes the distance of the tracking target.
  • the tracking target prediction unit 24 detects the current position (current position) of the tracking target based on the tracking target recognition information and the self-position information specifying the position and orientation of the autonomous mobile robot 11 .
  • the self-location information is obtained from information on the control amount of the driving unit 26, information from sensors such as an IMU that measures the self-location, or self-location estimation using SLAM (Simultaneous Localization and Mapping) technology.
  • sensors such as an IMU that measures the self-location, or self-location estimation using SLAM (Simultaneous Localization and Mapping) technology.
  • LiDAR, cameras, or sensors that detect external conditions such as ToF sensors used in SLAM etc. are sensors that are used in common with sensors such as the camera and distance measurement sensor of the sensor unit 21 that recognizes the tracking target. Alternatively, it may be a sensor installed on the autonomous mobile robot 11 separately from the sensor that recognizes the target to be followed.
  • the tracking target prediction unit 24 stores the positions of the tracking target detected up to the present time in a storage unit (not shown) as movement history information (time and position information) of the tracking target.
  • the tracking target prediction unit 24 predicts the trajectory (future trajectory) of the tracking target based on the detected current position of the tracking target, movement history information, and the like.
  • a trajectory is information indicating a time at predetermined time intervals and a position (predicted position) at each time.
  • Any method can be used to predict the trajectory of the tracked target, such as a method using a particle filter or a method using a movement model.
  • the tracking target prediction unit 24 generates movement history information (moving trajectory information) when a tracking target (not limited to the current tracking target) moved in the same area in the past and current A trajectory on which the current tracked object is predicted to move in the future is estimated based on the movement history information of the tracked object up to the present time. Movement history information when the tracking target has moved in the past is stored in advance in a storage unit (not shown).
  • the tracking target prediction unit 24 assumes a large number of states (trajectories) when predicting the trajectory of the tracking target, and calculates the likelihood of each assumed trajectory.
  • the tracking target prediction unit 24 determines the trajectory with the highest likelihood among the many trajectories as the tracking target trajectory.
  • the autonomous mobile robot 11 predicts the trajectory of the object to be followed, for example, assuming that the object to be followed moves at the current moving speed along a path with the same radius of curvature as the current one. .
  • Another method that uses a movement model predicts the trajectory of a tracked target on the assumption that the tracked target moves to avoid other moving objects.
  • the tracking target prediction unit 24 may store a map of the area in which the tracking target moves in advance in a storage unit (not shown). In this case, the tracking target predicting unit 24 may predict the trajectory of the tracking target by limiting it to only passages in which the tracking target can move, based on the stored map.
  • the tracking target prediction unit 24 may consider the presence of obstacles when predicting the trajectory of the tracking target, and may make it a condition that the tracking target moves while avoiding the obstacles.
  • the tracking target prediction unit 24 may detect the position of the obstacle based on a map stored in advance, or may detect the position based on sensor data obtained by a ranging sensor such as LiDAR.
  • the ranging sensor in that case may be a sensor that is shared with the sensor that recognizes the target to be tracked, or may be a sensor that is installed on the autonomous mobile robot 11 separately from the sensor that recognizes the target to be tracked.
  • the movement control unit 25 predicts the position to be reached by the autonomous mobile robot 11 (following position) and attitude (orientation).
  • the movement control unit 25 In determining the follow-up position and posture, the movement control unit 25, in principle (with exceptions), satisfies the following first and second conditions.
  • the first condition is that when the tracked target moves along the trajectory predicted by the tracked target prediction unit 24, at the predicted time, the tracked position of the autonomous mobile robot 11 is relative to the tracked target position (predicted position).
  • the condition is that they are separated by a normal distance.
  • the normal distance is a distance suitable for recognizing the tracked object by the normal recognition algorithm in the tracked object recognition unit 22 as described above, and is a distance within a range above a predetermined distance threshold. However, the normal distance may be a distance equal to or greater than a predetermined distance threshold and equal to or less than a predetermined upper limit.
  • the movement control unit 25 determines the tracking position such that the distance between the predicted position of the tracking target and the tracking position of the autonomous mobile robot 11 is substantially constant within the normal distance range.
  • the second condition is that when the target to be tracked moves along the trajectory predicted by the tracked target prediction unit 24, the capture range 61 at the tracking position and posture of the autonomous mobile robot 11 at the prediction time is
  • the condition is that the target to be tracked is included (captured).
  • the movement control unit 25 determines the following position and posture of the autonomous mobile robot 11 after a predetermined time has elapsed so as to satisfy these first and second conditions.
  • the movement control unit 25 further determines the trajectory of the autonomous mobile robot 11 so that the position and posture of the autonomous mobile robot 11 after the elapse of a predetermined time will be the determined follow-up position and posture.
  • the movement control unit 25 considers the existence of obstacles when determining the follow-up position and posture of the autonomous mobile robot 11 .
  • the position of the obstacle is information that can be taken into consideration by the tracking target prediction unit 24 as well, and is detected by the movement control unit 25 in the same manner as detection by the tracking target prediction unit 24 .
  • the movement control unit 25 determines the following position and posture of the autonomous mobile robot 11 in principle, if there is a possibility that an obstacle may be interposed between the autonomous mobile robot 11 and the object to be followed, or if the object to be followed is The follow-up position and posture of the autonomous mobile robot 11 after the elapse of a predetermined time period are determined, except for the case where there is a possibility of deviating from the capture range 61 .
  • the movement control unit 25 invalidates the restriction by the first condition and determines the follow-up position and posture of the autonomous mobile robot 11 so as to satisfy the second condition.
  • the second condition is satisfied even when the capture range 61 of the autonomous mobile robot 11 includes only a portion of the target to be tracked.
  • the movement control unit 25 adjusts the tracking position of the autonomous mobile robot 11 so that the distance between the predicted position of the tracking target and the tracking position of the autonomous mobile robot 11 is shorter than the normal distance (distance threshold value described above).
  • the normal distance the distance between the predicted position of the target to be tracked and the position to be tracked by the autonomous mobile robot 11 is the normal distance, and if such a situation can be avoided.
  • the movement control unit 25 does not necessarily set the distance to the normal distance (the distance threshold described above). The following position and posture of the autonomous mobile robot 11 are not determined so that the distance is shorter than the distance.
  • the movement control unit 25 determines the following position and orientation of the autonomous mobile robot 11 after the predetermined time has elapsed
  • the position and orientation of the autonomous mobile robot 11 after the predetermined time has elapsed will be the determined following position and orientation.
  • the trajectory of the autonomous mobile robot 11 is determined so that
  • the trajectory plan setting such as Hybrid A*, which considers the posture of the autonomous mobile robot 11 and prevents it from colliding with obstacles. It may be the case that the technique is used. Furthermore, a method such as DWA (Dynamic WaveArc) that changes the trajectory while considering dynamic obstacles and the dynamics of the autonomous mobile robot 11 may be used for the determined trajectory. A learning method such as reinforcement learning may be used so that the autonomous mobile robot 11 can move toward the following position/orientation without colliding with an obstacle.
  • DWA Dynamic WaveArc
  • a drive signal (operation signal) for moving the autonomous mobile robot 11 is supplied to the drive unit 26 according to the trajectory.
  • the autonomous mobile robot 11 moves along the trajectory determined by the movement control unit 25 .
  • the distance detection unit 23 may Situations may arise where the distance of the object cannot be detected properly.
  • the movement control unit 25 may forcibly stop the movement of the autonomous mobile robot 11 when notified by the distance detection unit 23 that such a situation has occurred.
  • the movement control unit 25 stops the movement of the autonomous mobile robot 11. to resume movement.
  • FIG. 8 is a flow chart showing the overall flow of the tracking process executed by the autonomous mobile robot 11 to follow and move the target to be tracked. 8 exemplifies the case where the follow target is the person 41 as shown in FIGS. 2 to 7.
  • FIG. 8 exemplifies the case where the follow target is the person 41 as shown in FIGS. 2 to 7.
  • step S11 the follow target recognition unit 22 recognizes the follow target person 41 based on the sensor data from the sensor unit 21 . That is, the tracking target recognition unit 22 recognizes the position of the tracking target person 41 based on the area of the person 41 in the capture range 61 and the distance of the person 41 detected by the distance detection unit 23 . Processing proceeds from step S11 to step S13.
  • step S12 the movement control unit 25 recognizes obstacles existing around the autonomous mobile robot 11 based on the sensor data from the sensor unit 21 in parallel with the processing of step S11. Processing proceeds from step S12 to step S13.
  • step S13 the tracking target prediction unit 24 predicts the trajectory (position) of the person 41 in the future based on the position of the person 41 recognized in step S11. Processing proceeds from step S13 to step S14.
  • step S14 the movement control unit 25 controls the position of the autonomous mobile robot 11 after a predetermined time has elapsed based on the position of the person 41 predicted in step S13 and the presence (position) of the obstacle recognized in step S12. Determine the follower position and attitude. Processing proceeds from step S14 to step S15.
  • step S15 the movement control unit 25 determines the trajectory (action plan) on which the autonomous mobile robot 11 should move according to the follow-up position and orientation determined in step S14, and drives the autonomous mobile robot 11 according to the determined trajectory.
  • the process returns from step S15 to steps S11 and S12, and the process repeats steps S11 to S15.
  • FIG. 9 is a flowchart illustrating processing related to determination of the following position and posture of the autonomous mobile robot 11 in step S14 of FIG.
  • step S31 the tracking target recognition unit 22 determines whether or not the person 41 to be tracked can be recognized by the normal recognition algorithm. Determine whether or not
  • step S31 If it is determined in step S31 that the person 41 to be tracked can be recognized by the normal recognition algorithm, that is, if it is determined that the distance of the person 41 to be tracked is the normal distance, the process proceeds to step S32.
  • step S32 the follow target recognition unit 22 recognizes the follow target person 41 using a normal recognition algorithm. It should be noted that since the target to be recognized is the person 41, in step S32 of FIG. 9, the recognition of the person by the normal recognition algorithm is described as the normal person recognition. Processing proceeds from step S32 to step S34.
  • step S31 If it is determined in step S31 that the person 41 to be tracked cannot be recognized by the normal recognition algorithm, that is, if it is determined that the distance of the person 41 to be tracked is shorter than the normal distance, the process proceeds to step S33. proceed to
  • step S33 the tracking target recognition unit 22 recognizes the tracking target person 41 using a short-distance recognition algorithm. Since the person 41 is the target to be tracked, in step S33 of FIG. 9, the person recognition by the short-distance recognition algorithm is described as short-distance human recognition. Processing proceeds from step S33 to step S34.
  • step S34 the tracking target prediction unit 24 predicts the future trajectory of the tracking target person 41 based on the position of the tracking target person 41 recognized in step S32 or step S33. Processing proceeds from step S34 to step S36.
  • step S35 is a process in which the movement control unit 25 acquires the position of the obstacle by recognizing the obstacle in step S12 of FIG.
  • step S36 the movement control unit 25 controls the movement of the autonomous mobile robot 11 as seen from the sensor unit 21 based on the trajectory of the person 41 to be tracked predicted in step S34 and the position of the obstacle acquired in step S35. Then, it is determined whether or not there is a possibility that the person 41 to be tracked is hidden by an obstacle.
  • step S36 If it is determined in step S36 that the person 41 to be tracked is likely to be hidden by an obstacle, the process proceeds to step S37, and the movement control unit 25 sets the following position of the autonomous mobile robot 11 to the position of the person to be tracked. 41, it is determined at a position closer than the normal distance in principle (position at a short distance).
  • step S36 If it is determined in step S36 that there is no possibility that the person 41 to be tracked is hidden by an obstacle, the process proceeds to step S38, and the movement control unit 25 sets the following position of the autonomous mobile robot 11 to the position of the person to be tracked. 41, it is determined at the position of the normal distance according to the principle.
  • step S37 or step S38 When the process of step S37 or step S38 is executed, the process of this flowchart ends.
  • the recognition algorithm for recognizing the follow target is switched according to the distance between the autonomous mobile robot 11 (sensor unit 21) and the follow target. Therefore, even when the autonomous mobile robot 11 is brought closer to the target to avoid a situation in which the target to be tracked cannot be recognized (captured) due to an obstacle or the like, the target to be tracked can be properly captured and the target to be tracked.
  • the autonomous mobile robot 11 can be made to follow.
  • the utilization environment of the autonomous mobile robot 11 in the specific example 1 is as follows.
  • Dynamic obstacles include people, trolleys, and automatic doors.
  • ⁇ Static obstacles include corners of passages. Since the width of the passage is secured to some extent, there are few obstacles in the passage itself.
  • the user of the autonomous mobile robot 11 and the people around him are accustomed to the robot.
  • ⁇ People may stop temporarily for other work.
  • Many of the people to be followed move at a relatively low speed.
  • the processing and control of the autonomous mobile robot 11 may be optimized in the following form.
  • the movement control unit 25 which determines the follow-up position and posture of the autonomous mobile robot 11, determines the trajectory, and drives the autonomous mobile robot 11, controls the autonomous mobile robot 11 as follows.
  • the autonomous mobile robot 25 moves the autonomous mobile robot closer to the person to be followed to the extent that it is not dangerous, considering the load. Move 11.
  • the movement control unit 25 prevents the autonomous mobile robot 11 from approaching the object to be followed beyond the braking distance when the autonomous mobile robot 11 is braked.
  • the movement control unit 25 considers the maximum braking amount of the autonomous mobile robot 11 and Consider that the maximum amount of braking is limited by the weight and fragility of the load. The braking distance can be shortened by slowing down the movement speed. The moving speed of the autonomous mobile robot 11 is reduced as much as possible.
  • the tracking target recognition unit 22 which recognizes the tracking target, uses the eighth recognition algorithm using a distance sensor as the short-distance recognition algorithm because workers often wear the same clothes in the factory.
  • a follow-up target prediction unit 24 for predicting the trajectory of a follow-up target uses a map (a map for using a robot) showing passable passages in a factory to predict a follow-up target person using the map. predict the trajectory of The follow target prediction unit 24 predicts the trajectory of the follow target person based on the prior knowledge of the transport location, if such information is available.
  • the utilization environment of the autonomous mobile robot 11 in Specific Example 2 is the same as that in Specific Example 1, so a description thereof will be omitted.
  • the processing and control of the autonomous mobile robot 11 may be optimized in the following form.
  • the movement control unit 25 which determines the follow-up position and posture of the autonomous mobile robot 11, determines the trajectory, and drives the autonomous mobile robot 11, controls the autonomous mobile robot 11 as follows.
  • the movement control unit 25 determines that the person to be followed will be shielded from the autonomous mobile robot 11 at a corner, the movement control unit 25 moves the autonomous mobile robot 11 so as to approach the person to be followed to the extent that it is not dangerous. However, when the person to be followed suddenly stops, the movement control unit 25 prevents the autonomous mobile robot 11 from approaching the object to be followed beyond the braking distance when the autonomous mobile robot 11 is braked. When limiting the closest distance between the autonomous mobile robot 11 and the person to be followed based on the braking distance, the movement control unit 25 considers the maximum braking amount of the autonomous mobile robot 11 . The braking distance can be shortened by slowing down the movement speed. The moving speed of the autonomous mobile robot 11 is reduced as much as possible.
  • Specific example 2 is a case in which the autonomous mobile robot 11 is used to create a map for robots in a factory. don't own.
  • the following target prediction unit 24 predicts the trajectory of the following target person by, for example, a method using a particle filter or a method using a movement model.
  • the utilization environment of the autonomous mobile robot 11 in the specific example 3 is as follows.
  • Dynamic obstacles include people, trolleys, and automatic doors.
  • ⁇ Static obstacles include corners of passages. There are many turns. The width of the passage is narrow and there are obstacles on the passage.
  • the user of the autonomous mobile robot 11 and the people around him are accustomed to the robot. ⁇ People may stop temporarily for other work.
  • the autonomous mobile robot 11 fails to follow, there is a case where the person to be followed turns at a corner.
  • the autonomous mobile robot 11 fails to capture the person to be followed while performing an avoidance action to avoid the person.
  • the processing and control of the autonomous mobile robot 11 may be optimized in the following form.
  • the movement control unit 25 which determines the follow-up position and posture of the autonomous mobile robot 11, determines the trajectory, and drives the autonomous mobile robot 11, controls the autonomous mobile robot 11 as follows.
  • the movement control unit 25 determines that the person to be followed will be blocked from the autonomous mobile robot 11, such as when approaching a corner, the movement control unit 25 moves the autonomous mobile robot 11 so as to approach the person to be followed. However, when the person to be followed suddenly stops, the movement control unit 25 prevents the autonomous mobile robot 11 from approaching the object to be followed beyond the braking distance when the autonomous mobile robot 11 is braked. Furthermore, the movement control unit 25 does not allow the autonomous mobile robot 11 to approach the person beyond a distance that takes into account the personal space that the person feels uncomfortable with. The movement control unit 25 predicts the trajectory of a pedestrian walking near a target other than the target to be tracked.
  • the movement control unit 25 determines that the pedestrian is about to cut in between the person to be tracked and the autonomous mobile robot 11 based on the predicted trajectory of the pedestrian, the pedestrian cannot cut in.
  • the autonomous mobile robot 11 is brought closer to the person to be tracked to the extent that it does not. Thereby, it is possible to prevent other pedestrians from obstructing the capture of the person to be followed.
  • the tracking target recognizing unit 22 for recognizing a tracking target is configured such that when there are a plurality of people on a narrow road in the short-distance recognition algorithm, the recognition algorithm for recognizing a moving object as a tracking target erroneously identifies another person as a tracking target. Since there are many cases of recognition, the sixth recognition algorithm using feature quantity extraction is adopted as the short-distance recognition algorithm.
  • the tracking target prediction unit 24 which predicts the trajectory of the tracking target, uses a map in the office to determine passable passages, and predicts the trajectory of the tracking target by using a method such as a particle filter.
  • the utilization environment of the autonomous mobile robot 11 in specific example 4 is as follows.
  • Dynamic obstacles include people, carry cases and carts carried by people.
  • ⁇ Static obstacles include pillars and the like. They are often open spaces with few static obstacles.
  • the user of the autonomous mobile robot 11 and the surrounding people are not very conscious of the autonomous mobile robot 11 when moving.
  • the person to be followed often moves at a normal walking speed.
  • the autonomous mobile robot 11 fails to follow there is a case where the person to be followed turns at a corner.
  • the autonomous mobile robot 11 fails to capture the person to be followed while performing an avoidance action to avoid the person.
  • the processing and control of the autonomous mobile robot 11 may be optimized in the following form.
  • the movement control unit 25 which determines the follow-up position and posture of the autonomous mobile robot 11, determines the trajectory, and drives the autonomous mobile robot 11, controls the autonomous mobile robot 11 as follows.
  • the movement control unit 25 predicts the trajectory of a pedestrian walking near a target other than the target to be tracked, as in the case of the specific example 3. If the movement control unit 25 determines that the pedestrian is about to cut in between the person to be tracked and the autonomous mobile robot 11 based on the predicted trajectory of the pedestrian, the pedestrian cannot cut in. The autonomous mobile robot 11 is brought closer to the person to be tracked to the extent that it does not. Even if the autonomous mobile robot 11 is brought close to the person to be tracked so that the pedestrian does not cut in, if the pedestrian does not change the direction of movement, there is a possibility of collision. The autonomous mobile robot 11 is stopped from approaching the person to be tracked, and priority is given to avoiding collisions with pedestrians.
  • the movement control unit 25 orients the autonomous mobile robot 11 in a direction in which the tracking target person is most likely to exist, and attempts recognition of the tracking target person by the tracking target recognition unit 22 . If it cannot be recognized, the movement control unit 25 (or the following target prediction unit 24) estimates the trajectory of the person to be followed.
  • the tracking target recognizing unit 22 for recognizing the tracking target uses a distance-based method for recognizing a person when the autonomous mobile robot 11 approaches the tracking target.
  • a sixth recognition algorithm using feature quantity extraction is adopted as a short-distance recognition algorithm.
  • a series of processes in the autonomous mobile robot 11 described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a computer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 10 is a block diagram showing an example of the computer hardware configuration when the computer executes each process executed by the autonomous mobile robot 11 by means of a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 205 is further connected to the bus 204 .
  • An input unit 206 , an output unit 207 , a storage unit 208 , a communication unit 209 and a drive 210 are connected to the input/output interface 205 .
  • the input unit 206 consists of a keyboard, mouse, microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 is composed of a hard disk, a nonvolatile memory, or the like.
  • a communication unit 209 includes a network interface and the like.
  • a drive 210 drives a removable medium 211 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 201 loads, for example, a program stored in the storage unit 208 into the RAM 203 via the input/output interface 205 and the bus 204 and executes the above-described series of programs. is processed.
  • the program executed by the computer (CPU 201) can be provided by being recorded on removable media 211 such as package media, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage section 208 via the input/output interface 205 by loading the removable medium 211 into the drive 210 . Also, the program can be received by the communication unit 209 and installed in the storage unit 208 via a wired or wireless transmission medium. In addition, programs can be installed in the ROM 202 and the storage unit 208 in advance.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the present technology can also take the following configurations.
  • a drive unit that is driven to follow a target to be tracked;
  • a recognition unit that recognizes the tracked object, and changes a recognition algorithm for recognizing the tracked object based on the distance to the tracked object or the recognition accuracy of the tracked object based on the distance to the tracked object.
  • a recognition unit and a control unit that controls the drive unit based on the position of the tracking target recognized by the recognition unit.
  • the recognition unit setting the recognition algorithm to a normal distance recognition algorithm when the distance to the tracking target is a normal distance equal to or greater than a predetermined distance threshold;
  • the information processing apparatus according to (1), wherein the recognition algorithm is set to a recognition algorithm for a short distance when the distance to the tracking target is shorter than the distance threshold.
  • the recognition unit The information processing apparatus according to (2), wherein, as the recognition algorithm for the normal distance, an area that matches the overall characteristics of the tracking target is detected from an image captured by a camera.
  • the recognition unit The information processing apparatus according to (2), wherein, as the recognition algorithm for the normal distance, an area of a moving object is detected as the tracking target area from an image captured by a camera.
  • the recognition unit The information processing apparatus according to (2), wherein, as the recognition algorithm for the normal distance, an area of a moving object is detected as the tracking target area from a ranging range measured by a ranging sensor.
  • the recognition unit The information processing apparatus according to (2), wherein, as the recognition algorithm for the normal distance, an area matching the shape of the tracking target is detected from a range-finding range measured by a range-finding sensor. (7) The recognition unit The information processing apparatus according to any one of (2) to (6), wherein, as the short-distance recognition algorithm, an area matching a representative color of the tracking target is detected from an image captured by a camera. (8) The recognition unit The information processing apparatus according to any one of (2) to (6), wherein, as the short-distance recognition algorithm, an area matching a feature amount corresponding to the tracking target is detected from an image captured by a camera.
  • the recognition unit The information processing according to any one of (2) to (6), wherein, as the short-distance recognition algorithm, an area of a moving object is detected as the tracking target area from a range-finding range measured by a range-finding sensor.
  • Device. (10) further comprising a prediction unit that predicts the trajectory of the tracking target; When it is predicted that an obstacle will interfere with the recognition of the tracked object that has moved along the trajectory predicted by the prediction unit, the control unit reduces the distance to the tracked object to the distance
  • the drive unit is controlled so that the distance is shorter than a threshold.
  • (11) further comprising a prediction unit that predicts the trajectory of the tracking target;
  • the control module controls the distance to the tracking target.
  • the normal distance is a distance at which the recognition unit can recognize the entire tracking target.
  • the follow target is a person.
  • an information processing apparatus comprising a drive unit, a recognition unit, and a control unit, a drive step in which the drive unit is driven to follow an object to be tracked; the recognition unit recognizing the tracked target, wherein the tracked target is recognized based on a distance to the tracked target or recognition accuracy of the tracked target based on the distance to the tracked target; a recognition step that modifies the recognition algorithm;
  • the information processing method comprising: a control step in which the control unit controls the driving of the driving step based on the position of the tracking target recognized in the recognition step.
  • a driving unit driven to cause the computer to follow the object to be tracked
  • a recognition unit that recognizes the tracked object, and changes a recognition algorithm for recognizing the tracked object based on the distance to the tracked object or the recognition accuracy of the tracked object based on the distance to the tracked object.
  • a recognition unit A program for functioning as a control section that controls the driving section based on the position of the tracking target recognized by the recognition section.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本技術は、追従対象を適切に捕捉しながら自律移動により追従できるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 追従対象に追従するために駆動され、前記追従対象を認識し、かつ、前記追従対象までの距離、又は、前記追従対象までの距離に基づく前記追従対象の認識精度に基づいて、前記追従対象を認識する認識アルゴリズムが変更され、認識された前記追従対象の位置に基づいて、前記駆動が制御される。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、追従対象を適切に捕捉しながら自律移動により追従できるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
　特許文献１、２には、移動する人や物等の追従対象（移動目標物）を自律移動により追従する自律移動ロボットが開示されている。
特開２０１０－１５１９４号公報 特開２０１８－１４７３３７号公報
　追従対象が曲がり角を曲がった場合等に、追従対象と自律移動ロボットとの間に障害物が介在すると、追従対象を捕捉できなくなり、自律移動ロボットが追従対象を適切に追従できないことがある。
　本技術はこのような状況に鑑みてなされたものであり、追従対象を適切に捕捉しながら自律移動により追従できるようにする。
　本技術の情報処理装置、又は、プログラムは、追従対象に追従するために駆動される駆動部と、前記追従対象を認識する認識部であって、前記追従対象までの距離、又は、前記追従対象までの距離に基づく前記追従対象の認識精度に基づいて、前記追従対象を認識する認識アルゴリズムを変更する認識部と、前記認識部により認識された前記追従対象の位置に基づいて、前記駆動部を制御する制御部とを有する情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。
　本技術の情報処理方法は、駆動部と、認識部と、制御部とを有する情報処理装置の前記駆動部が、追従対象に追従するために駆動される駆動ステップと、前記認識部が、前記追従対象を認識する認識ステップであって、前記追従対象までの距離、又は、前記追従対象までの距離に基づく前記追従対象の認識精度に基づいて、前記追従対象を認識する認識アルゴリズムを変更する認識ステップと、前記制御部が、前記認識ステップにより認識された前記追従対象の位置に基づいて、前記駆動ステップの前記駆動を制御する制御ステップとを有する情報処理方法である。
　本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、追従対象に追従するために駆動され、前記追従対象を認識し、かつ、前記追従対象までの距離、又は、前記追従対象までの距離に基づく前記追従対象の認識精度に基づいて、前記追従対象を認識する認識アルゴリズムが変更され、認識された前記追従対象の位置に基づいて、前記駆動が制御される。
本技術が適用された自律移動ロボットの実施の形態の構成例を示すブロック図である。 自律移動ロボットが追従対象を捕捉できなくなる状況を説明した図である。 障害物が幅の狭い壁のような物体であった場合の図２のＢの状態を表した図である。 自律移動ロボットが追従対象を捕捉できなくなる他の状況を説明した図である。 自律移動ロボットが追従対象を捕捉できなくなる他の状況を説明した図である。 自律移動ロボットが障害物により追従対象を捕捉できない状態となることを回避するための制御を説明する図である。 追従対象が捕捉範囲外となることにより自律移動ロボットが追従対象を捕捉できない状態となることを回避するための制御を説明する図である。 自律移動ロボットが実行する追従処理の全体の流れを示したフローチャートである。 図８のステップＳ１４における自律移動ロボットの追従位置及び姿勢の決定に関連する処理を例示したフローチャートである。 一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。
＜自律移動ロボットの実施の形態＞
　図１は、本技術が適用された自律移動ロボットの実施の形態の構成例を示すブロック図である。
　図１の本実施の形態の自律移動ロボット１１は、人などの移動する物体（動体）を追従対象として捕捉しながら追従対象に追従するように自律移動する。
　自律移動ロボット１１は、センサ部２１、追従対象認識部２２、距離検出部２３、追従対象予測部２４、移動制御部２５、及び、駆動部２６を有する。
　センサ部２１は、追従対象の位置等を検出するセンサ、及び、周辺環境の障害物等を検出するセンサを含む。センサ部２１は、各種センサから出力されるセンサデータを追従対象認識部２２に供給する。
　追従対象認識部２２は、センサ部２１からのセンサデータに基づいて、追従対象を認識し、認識した追従対象に関する位置等の情報を距離検出部２３及び追従対象予測部２４に供給する。
　追従対象認識部２２は、距離検出部２３から供給される自律移動ロボット１１から追従対象までの距離等に基づいて、追従対象を認識する認識アルゴリズムを距離に応じて適切な認識アルゴリズムに切り替える。
　距離検出部２３は、追従対象認識部２２からの追従対象に関する情報等に基づいて、自律移動ロボット１１から追従対象までの距離（追従対象の距離、又は、追従距離ともいう）を算出する。距離検出部２３は、算出した追従対象の距離を追従対象認識部２２に供給する。
　追従対象予測部２４は、追従対象認識部２２からの追従対象に関する情報に基づいて、追従対象の未来の軌道を予測する。追従対象予測部２４は、予測した追従対象の軌道（予測軌道）を移動制御部２５に供給する。
　移動制御部２５は、追従対象予測部２４からの予測軌道に基づいて、新たな予測軌道が供給されるごとに、自律移動ロボット１１を移動させる位置（追従位置）及び姿勢を決定する。移動制御部２５は、追従位置及び姿勢を決定すると、自律移動ロボット１１を追従位置及び姿勢に移動させるための駆動信号（操作信号）を駆動部２６に供給する。
　駆動部２６は、自律移動ロボット１１が移動するための移動機構を作動させる１又は複数のアクチュエータを含む。例えば、各アクチュエータの駆動速度が制御されることで、自律移動ロボット１１の移動方向及び移動速度が制御される。移動制御部２５から駆動部２６には、自律移動ロボット１１を現在の位置及び姿勢から、目標とする追従位置及び姿勢に移動させるための軌道に沿って自律移動ロボット１１が移動するようにアクチュエータの駆動速度を指示する操作信号が供給される。
　図２は、自律移動ロボット１１（本技術が適用されない自律移動ロボット）が追従対象を捕捉できなくなる状況を説明した図である。図２のＡ及びＢにおいて、自律移動ロボット１１は追従対象に追従して自律移動するロボットである。人４１は、自律移動ロボット１１が追従する追従対象である。なお、追尾対象は人に限らない。軌道４２は、人４１が移動した軌跡（経路）又は移動する予定の軌道である。障害物５１は、例えば、棚、柱、壁などの人４１の通過を阻害する任意の物体を表す。図２の例では障害物５１は矩形の物体である。
　図２のＡにおいて、人４１は、軌道４２に沿って障害物５１の図面上の左側を障害物５１の図面上の上側に向かって歩行している。自律移動ロボット１１は、人４１に追従して人４１の背後を移動している。なお、以下において、図面上の上側、下側、右側、左側を単に上側、下側、右側、左側という。
　図２のＢは、図２のＡに対して所定時間経過後の状態を表す。図２のＢにおいて、人４１は、軌道４２に沿って、障害物５１の左上端の角を右に曲がった後、障害物５１の上側を障害物５１の右側に向かって移動している。このとき、自律移動ロボット１１が障害物５１の左側を移動している途中で、自律移動ロボット１１と人４１との間に障害物５１が介在し、自律移動ロボット１１が人４１を捕捉できなくなるという事態が生じる。
　この場合、自律移動ロボット１１が現在位置に対して周辺部の地図（物体の配置）を把握しており、人４１が通過できる軌道４２が１つに限られていると仮定する。そのときには、人４１が、軌道４２に沿って障害物５１の上側を移動していることを自律移動ロボット１１が予測して、自律移動ロボット１１も軌道４２に沿って、障害物５１の左上端の角を右に曲がって人４１を捕捉し直すことができる。
　これに対して、軌道４２は１つに限られない場合には、図２のＢの状態になった後に、自律移動ロボット１１が人４１を再度、捕捉し直すことは難しい。
　図３は、図２の障害物５２が幅の狭い壁のような物体であった場合の図２のＢの状態を表した図である。障害物５２は、図２の障害物５２の代わりに配置された幅の狭い物体である。即ち、図３は、図２のＡから図２のＢへの人４１の移動と同様にして、障害物５２の左上端の角で人４１が右側に曲がった状態を表す。
　この場合、自律移動ロボット１１と人４１との間に障害物５２が介在し、自律移動ロボット１１が人４１を捕捉できない状態となる。このとき、自律移動ロボット１１は、人４１が障害物５２の右上端の角を右側に曲がった後の軌道４２が右方向なのか下方向なのか等、予測することもできない。したがって、自律移動ロボット１１は、障害物５１の左上端の角を右側に曲がった後も人４１を捕捉し直すことが困難となる。
　図４及び図５は、自律移動ロボット１１が追従対象を捕捉できなくなる他の状況を説明した図である。図４のＡ及びＢ、並びに、図５のＡ及びＢにおいて、自律移動ロボット１１は追従対象に追従して自律移動するロボットである。人４１は、自律移動ロボット１１が追従する追従対象である。軌道４２は、人４１が移動した軌跡又は移動する予定の軌道である。捕捉範囲６１は、自律移動ロボット１１が追従対象を捕捉できる範囲を表す。
　図４のＡにおいて、人４１は、軌道４２に沿って上側に向かって歩行している。自律移動ロボット１１は、捕捉範囲６１内で人４１を捕捉しながら人４１に追従して人４１の背後を移動している。
　図４のＢは、図４のＡに対して所定時間経過後の状態を表す。図４のＢにおいて、人４１は、軌道４２に沿って、右側に曲がった後、右側に向かって移動している。このとき、人４１が捕捉範囲６１から外れると、自律移動ロボット１１が人４１を捕捉できなくなるという事態が生じる。
　図５のＡにおいて、図４のＡと同様に人４１は、軌道４２に沿って上側に向かって歩行している。自律移動ロボット１１は、捕捉範囲６１内で人４１を捕捉しながら人４１に追従して人４１の背後を移動している。
　図５のＢは、図５のＡに対して所定時間経過した後の状態を表す。図４のＢにおいて、人４１は、軌道４２に沿って、右回りに転回した後、下側に向かって移動している。このとき、人４１が捕捉範囲６１から外れると、自律移動ロボット１１が人４１を捕捉できなくなるという事態が生じる。
　これらの図４及び図５の場合において、軌道４２が障害物等で制限された特定の軌道ではないことがある。その場合には、自律移動ロボット１１は、軌道４２を予測することも難しい。したがって、図４のＢ又は図５のＢの状態になった後に、自律移動ロボット１１が人４１を再度、捕捉し直すことは難しい。
＜本技術の説明＞
　本技術は、図２のＢ、図３、図４のＢ、及び、図５のＢの状態が生じないように自律移動ロボット１１を制御する。
　図６は、図２のＢの状態、即ち、自律移動ロボット１１が障害物により追従対象を捕捉できない状態となることを回避するための自律移動ロボット１１の制御を説明する図である。図６のＡは、図２のＡと同じであるので説明を省略する。
　図６のＢは、図６のＡに対して所定時間経過後の状態を表す。図６のＢにおいて、人４１は、軌道４２に沿って、障害物５１の左上端の角を右側に曲がった後、障害物５１の上側を障害物５１の右側に向かって移動している。自律移動ロボット１１は、人４１が移動する予定の軌道４２を事前に予測する。その予測の結果、自律移動ロボット１１は、図２のＢのように障害物５１により人４１を捕捉できなくなる可能性があることを予測すると、人４１に対して通常距離より近い位置（短い距離となる位置）に近づく。これにより、図６のＢにおいて、自律移動ロボット１１は、人４１が障害物５１の左上端の角を右側に曲がった後も、障害物５１に阻害されることなく人４１を捕捉し続けて追従することができる。
　図３の場合も同様に、自律移動ロボット１１は、人４１に対して通常距離よりも近づくことで、障害物５２により人４１を捕捉できない状態となることを回避できる。
　図７は、図４のＢ及び図５のＢの状態、即ち、追従対象が捕捉範囲外となることにより自律移動ロボット１１が追従対象を捕捉できない状態となることを回避するための自律移動ロボット１１の制御を説明する図である。図７のＡは、図４のＡの状態と同じであるので説明を省略する。
　図７のＢは、図７のＡに対して所定時間経過後の状態を表す。図７のＢにおいて、人４１は、軌道４２に沿って、右側に曲がった後、右側に向かって移動している。自律移動ロボット１１は、人４１が移動する予定の軌道４２を予測する。その予測の結果に基づいて、自律移動ロボット１１は、図４のＢ又は図５のＢのように人４１が捕捉範囲６１から外れないように捕捉範囲６１の向きを変えながら移動する。
　図７のＣは、図７のＢに対して所定時間経過後の状態を表す。図７のＣにおいて、人４１は、軌道４２に沿って、右側に向かって移動している。自律移動ロボット１１は、図７のＢの場合と同様にして、人４１が捕捉範囲６１から外れないように捕捉範囲６１の向きを変えながら移動する。
　ここで、自律移動ロボット１１は、捕捉範囲６１の向きを変えるためにはある程度の距離の移動を要する場合がある。その場合に、自律移動ロボット１１は、人４１に対して通常距離よりも近づくように制御することで捕捉範囲６１の向きを変更する。
　図７のＢ′は、自律移動ロボット１１が追従対象に対して通常距離よりも近づくように制御する場合において、図７のＡに対して所定時間経過後の状態を表す。人４１は、軌道４２に沿って、右側に曲がった後、右側に向かって移動している。自律移動ロボット１１は、人４１が移動する予定の軌道４２を予測する。その予測の結果、自律移動ロボット１１の通常の移動と捕捉範囲６１の向きの変更では、捕捉範囲６１から人４１が外れる可能性がある場合には、自律移動ロボット１１は、人４１に対して通常距離よりも近づくことで、捕捉範囲６１を適切な向きに変更する。
　なお、自律移動ロボット１１は、人４１が捕捉範囲６１から外れる方向に移動した場合には、図７のＢ′と同様に人４１に対して通常距離よりも近づくように制御してもよい。
　図５のように人４１が旋回した場合にも自律移動ロボット１１は、図７の場合と同様に移動することで、人４１が捕捉範囲６１から外れることを回避することができる。図５の人４１の移動に対する自律移動ロボット１１の制御についての説明は省略する。
　以上のように、自律移動ロボット１１が追従対象に対して通常距離よりも近づいた場合、捕捉範囲６１には、追従対象の一部分しか含まれなくなる場合がある。このとき、追従対象を認識する認識処理（認識アルゴリズム）が通常の場合と同じであると追従対象を適切に捕捉することができない事態が生じ得る。本技術は、自律移動ロボット１１が追従対象に対して通常距離よりも近づいた場合の追従対象の認識（捕捉）を適切に行えるようにする。
＜自律移動ロボット１１の各構成部での処理の詳細＞
　追従対象が捕捉範囲６１から外れることを回避するために追従対象に対して自律移動ロボット１１を通常距離よりも近づける制御を行う場合における図１の追従対象認識部２２の処理について説明する。
　センサ部２１は、自律移動ロボット１１に対する追従対象の方向及び距離を検出するためのセンサを含む。センサ部２１は、カラー画像（RGB画像）又はモノクロ画像を撮影する１又は複数のカメラと、LiDAR(Light Detection And Ranging)、ToFカメラ等の多点測定点までの測距が可能な測距センサとのうちの少なくとも一方を含む。センサ部２１に含まれるセンサは、追従対象認識部２２で行われる処理に応じて異なり、自律移動ロボット１１の活用事例に応じて適宜変更され得る。なお、センサ部２１のセンサは自律移動ロボット１１に対して固定されているものとするが、これに限らない。
　追従対象認識部２２は、センサ部２１からのセンサデータに基づいて追従対象を認識する。追従対象を認識する処理（認識アルゴリズム）は、センサ部２１のセンサの種類により異なり、かつ、追従対象の距離に応じて変更される。追従対象を認識する認識アルゴリズムとしては、自律移動ロボット１１に対して、追従対象が通常距離である場合の通常認識アルゴリズム（通常距離向けの認識アルゴリズム）と、追従対象が近接した場合の近距離向け認識アルゴリズムとに大別される。近距離向け認識アルゴリズムは、追従対象に対して自律移動ロボット１１（センサ）が近すぎて通常認識アルゴリズムでは追従対象の認識が困難となる場合に用いられる。
（通常認識アルゴリズム）
　通常認識アルゴリズムは、例えば、次の第１認識アルゴリズム乃至第４認識アルゴリズムがあり、いずれかを採用することができる。
（第１認識アルゴリズム）
　第１認識アルゴリズムは、センサ部２１がカメラを有する場合のアルゴリズムである。第１認識アルゴリズムでは、追従対象認識部２２は、カメラで撮影された画像（カメラ画像）をセンサデータとして取得する。追従対象認識部２２は、カメラから取得したカメラ画像の領域内から、追従対象の全体的な形状、色分布等の特徴に合致する画像（画像領域）を検出する。これによって、追従対象認識部２２は、カメラの撮影範囲を捕捉範囲６１として捕捉範囲６１に存在する追従対象を認識する。
（第２認識アルゴリズム）
　第２認識アルゴリズムは、センサ部２１がカメラを有する場合のアルゴリズムであり、第１認識アルゴリズムと相違する。第２認識アルゴリズムでは、追従対象認識部２２は、カメラで撮影された画像（カメラ画像）をセンサデータとして取得する。追従対象認識部２２は、所定時間おきにカメラから取得するカメラ画像の時間変化に基づいて、カメラ画像の領域内から、移動する物体（動体）の画像領域を検出する。これによって、追従対象認識部２２は、カメラの撮影範囲を捕捉範囲６１として捕捉範囲６１に存在する追従対象を認識する。
（第３認識アルゴリズム）
　第３認識アルゴリズムは、センサ部２１に測距センサが含まれる場合のアルゴリズムである。第３認識アルゴリズムでは、追従対象認識部２２は、測距センサにより測距された結果である測距データをセンサデータとして取得する。測距データは、測距センサに対して多数（複数）の異なる方位（方向）に対して測定された物体（測定点）までの距離のデータの集合である。追従対象認識部２２は、所定時間おきに測距センサから取得した測距データの時間変化に基づいて、測距センサの測距範囲内から、移動する物体（動体）の領域を検出する。これによって、追従対象認識部２２は、測距センサの測距範囲を捕捉範囲６１として捕捉範囲６１に存在する追従対象を認識する。
（第４認識アルゴリズム）
　第４認識アルゴリズムは、センサ部２１に測距センサが含まれる場合のアルゴリズムであり、第３認識アルゴリズムと相違する。第４認識アルゴリズムでは、追従対象認識部２２は、測距センサにより測距された結果である測距データをセンサデータとして取得する。追従対象認識部２２は、測距センサから取得した測距データの測定範囲内から、追従対象の形状に合致する領域を検出する。これによって、追従対象認識部２２は、測距センサの測距範囲を捕捉範囲６１として捕捉範囲６１に存在する追従対象を認識する。
（近距離向け認識アルゴリズム）
　近距離向け認識アルゴリズムとしては、次の第５認識アルゴリズム乃至第８認識アルゴリズムがあり、いずれかを採用することができる。
（第５認識アルゴリズム）
　第５認識アルゴリズムは、センサ部２１がカメラを有する場合のアルゴリズムであり、通常認識アルゴリズムである第１認識アルゴリズム及び第２認識アルゴリズムと相違する。第５認識アルゴリズムでは、追従対象認識部２２は、カメラで撮影された画像（カメラ画像）をセンサデータとして取得する。追従対象認識部２２は、カメラから取得したカメラ画像の領域内から、追従対象の代表的な色と合致する画像領域（合致領域）を検出する。追従対象の代表的な色と合致する合致領域が複数箇所で検出された場合には、一例として、追従対象認識部２２は、それらの複数の合致領域と、センサ部２１のカメラから１フレーム前に取得したカメラ画像（１回前の追従対象の認識処理で使用したカメラ画像）から認識した追従対象の画像領域（合致領域）と比較する。比較の結果、追従対象認識部２２は、面積が最も近い合致領域を追従対象の画像領域として認識する。なお、カメラ画像における色が光に影響されないようにHSV色空間により合致領域の検出が行われる場合であってよい。これによって、追従対象認識部２２は、カメラの撮影範囲を捕捉範囲６１として捕捉範囲６１に存在する追従対象を認識する。
（第６認識アルゴリズム）
　第６認識アルゴリズムは、センサ部２１がカメラを有する場合のアルゴリズムであり、通常認識アルゴリズムである第１認識アルゴリズム及び第２認識アルゴリズム、並びに、近距離向け認識アルゴリズムである第５認識アルゴリズムと相違する。第６認識アルゴリズムでは、追従対象認識部２２は、カメラで撮影された画像（カメラ画像）をセンサデータとして取得する。追従対象認識部２２は、カメラから取得したカメラ画像の領域内から、追従対象の画像が有する部分的又は局所的な特徴量に合致する画像領域（合致領域）を検出（抽出）する。追従対象が有する特徴量と合致する画像領域の検出（マッチング）は、カメラ画像内における追従対象の画像の拡大又は縮小が考慮されて行われる。マッチングの手法としては、SIFT（Scale-Invariant Feature Transform）、SURF（Speeded-Up Robust Features）、HOG（Histograms of Oriented Gradients）、Harr-like等の周知の局所画像特徴量の検出（抽出）手法が用いられる場合であってよい。追従対象認識部２２は、検出した合致領域を追従対象の画像領域として認識する。これによって、追従対象認識部２２は、カメラの撮影範囲を捕捉範囲６１として捕捉範囲６１に存在する追従対象を認識する。
（第７認識アルゴリズム）
　第７認識アルゴリズムは、センサ部２１がカメラを有する場合のアルゴリズムであり、通常認識アルゴリズムである第１認識アルゴリズム及び第２認識アルゴリズム、並びに、近距離向け認識アルゴリズムである第５認識アルゴリズム及び第６認識アルゴリズムと相違する。第６認識アルゴリズムでは、追従対象認識部２２は、カメラで撮影された画像（カメラ画像）をセンサデータとして取得する。追従対象認識部２２は、機械学習における推論モデルを用いて、カメラから取得したカメラ画像の領域内から、追従対象の画像領域、又は、追従対象が有する部分的又は局所的な特徴量に合致する画像領域（合致領域）を検出（抽出）する。追従対象認識部２２は、検出した合致領域を追従対象の画像領域として認識する。推論モデルは、例えば、CNN（Convolutional Neural Network）等のニューラルネットワークの構造を有する。推論モデルの学習は、例えば、追従対象認識部２２が最後に追従対象の画像領域を最後に認識したカメラ画像に対して数フレーム前からの複数のカメラ画像（５乃至１０フレーム分）を入力データとし、それらの入力データとするカメラ画像に対して認識された追従対象の画像領域を正解データとして行われる。これによって、追従対象認識部２２は、カメラの撮影範囲を捕捉範囲６１として捕捉範囲６１に存在する追従対象を認識する。
（第８認識アルゴリズム）
　第８認識アルゴリズムは、センサ部２１に測距センサが含まれる場合のアルゴリズムであり、通常認識アルゴリズムである第３認識アルゴリズム及び第４認識アルゴリズムと相違する。第８認識アルゴリズムでは、追従対象認識部２２は、測距センサにより測距された結果である測距データをセンサデータとして取得する。追従対象認識部２２は、測距センサから取得した測距データの測定範囲内から、最後に追従対象を認識した位置にもっとも近く、かつ、動いている物体（動体）の領域を追従対象の領域として検出する。これによって、追従対象認識部２２は、測距センサの測距範囲を捕捉範囲６１として捕捉範囲６１に存在する追従対象を認識する。なお、追従対象認識部２２は、追従対象の領域を検出する際に、追従対象の大きさや、追従対象の平均的な移動速度に合致することを条件として加えることで追従対象の認識精度の向上を図ってもよい。例えば、追従対象が人である場合に、移動速度（歩行速度）に関する条件は、例えば、約２m/s以下である。
（距離検出処理）
　距離検出部２３は、追従対象認識部２２により認識された追従対象の自律移動ロボット１１に対する距離（追従対象の距離）を検出する。
　センサ部２１がステレオカメラ等の複数のカメラを有する場合、追従対象認識部２２は、第１認識アルゴリズム、第２認識アルゴリズム、及び、第５認識アルゴリズム乃至第７認識アルゴリズムのうちのいずれかにより、捕捉範囲６１（各カメラのカメラ画像）における追従対象の領域（画像領域）を検出し、捕捉範囲６１（各カメラのカメラ画像）における追従対象の領域の位置及び範囲を特定する情報（追従対象認識情報）を距離検出部２３に供給する。
　距離検出部２３は、追従対象認識部２２からの追従対象認識情報に基づいて、各カメラのカメラ画像における追従対象の画像領域の位置の視差量（ずれ量）を検出し、三角測量の原理を用いて、追従対象の距離を検出（算出）する。検出された追従対象の距離は、追従対象認識部２２に供給される。
　センサ部２１が測距センサを有する場合、追従対象認識部２２は、第３認識アルゴリズム、第４認識アルゴリズム、又は、第８認識アルゴリズムにより、捕捉範囲６１（測距センサの測距範囲）における追従対象の領域を検出し、測距センサの測距範囲における追従対象の領域の位置及び範囲を特定する情報（追従対象認識情報）を距離検出部２３に供給する。
　距離検出部２３は、追従対象認識部２２からの追従対象認識情報と、センサ部２１又は追従対象認識部２２からの測距データとに基づいて、測距センサの測距範囲における追従対象の領域内の各測定点の距離を抽出し、例えば、それらの抽出した測定点の距離の平均値を追従対象の距離として検出（算出）する。検出された追従対象の距離は、追従対象認識部２２に供給される。
　センサ部２１がカメラ及び測距センサの両方を有する場合、追従対象認識部２２は、第１認識アルゴリズム乃至第８認識アルゴリズムのうちのいずれでも捕捉範囲６１における追従対象の領域を認識することができる。この場合には、距離検出部２３は、上述のセンサ部２１が複数のカメラを有する場合、又は、センサ部２１が測距センサを有する場合と同様にして追従対象の距離を検出することができる。
　センサ部２１がカメラ及び測距センサの両方を有する場合であって、追従対象を認識するためのカメラが１つのみの場合において、追従対象認識部２２が、第１認識アルゴリズム、第２認識アルゴリズム、及び、第５認識アルゴリズム乃至第７認識アルゴリズムのうちのいずれかにより追従対象の領域を認識したときには、距離検出部２３は、追従対象認識部２２からの追従対象認識情報に基づいて、測距センサの測距範囲における追従対象の領域を求める。距離検出部２３は、求めた追従対象の領域と、センサ部２１又は追従対象認識部２２からの測距データとに基づいて、測距センサの測距範囲における追従対象の領域内の各測定点の距離を抽出し、例えば、それらの抽出した測定点の距離の平均値を追従対象の距離として検出（算出）する。検出された追従対象の距離は、追従対象認識部２２に供給される。なお、センサ部２１が複数のカメラを有する場合であっても、追従対象認識部２２が、第１認識アルゴリズム、第２認識アルゴリズム、及び、第５認識アルゴリズム乃至第７認識アルゴリズムのうちのいずれかにより追従対象の領域を認識するときには、距離検出部２３は、カメラが１つのみの場合と同様にして追従対象の距離を検出することもできる。
（距離に応じた認識アルゴリズム）
　追従対象認識部２２は、距離検出部２３からの追従対象の距離に応じて、認識アルゴリズムを切り替える。例えば、追従対象の距離が所定の閾値（距離閾値）以上である場合に、通常認識アルゴリズムによる追従対象の認識に適した通常距離とする。通常距離は、例えば、追従対象認識部２２が追従対象の全体を認識することができる距離である。追従対象認識部２２は、追従対象の距離が距離閾値未満である場合に、近距離向けアルゴリズムによる追従対象の認識に適した近距離とする。
　なお、追従対象認識部２２は、追従対象の距離に基づいて直接的に追従対象の認識アルゴリズムを切り替える場合に限らない。例えば、追従対象認識部２２は、通常認識アルゴリズムにより追従対象を認識している際に、追従対象の認識が不安定なった場合、又は、不安定になると判断される場合（追従対象の認識精度が低下した場合）に追従対象の距離が近距離（距離閾値未満）であるとみなして通常認識アルゴリズムから近距離向け認識アルゴリズムに切り替えて追従対象を認識してもよい。追従対象の認識が不安定になった場合としては、認識した追従対象の尤度が所定閾値未満となった場合、又は、追従対象を所定時間以上認識できない場合等がある。追従対象の認識が不安定になると判断される場合としては、追従対象の一部が捕捉範囲６１外となった場合、又は、追従対象の距離が継続的に安定した距離で維持されている状態から所定距離以上短くなった場合等がある。
（追従対象の軌道予測）
　追従対象予測部２４は、捕捉範囲６１における追従対象の領域の位置及び範囲を特定する追従対象認識情報を追従対象認識部２２から取得する。追従対象認識情報には、追従対象の距離が含まれる。
　追従対象予測部２４は、追従対象認識情報と、自律移動ロボット１１の位置及び姿勢を特定する自己位置情報とに基づいて、追従対象の現在の位置（現在位置）を検出する。自己位置情報は、駆動部２６の制御量の情報、自己位置を測定するIMU等のセンサからの情報、又は、SLAM（Simultaneous Localization and Mapping）の技術を用いた自己位置推定等により得られる。SLAM等で使用されるLiDAR、カメラ、又は、ToFセンサ等の外界の状況を検出するセンサは、追従対象を認識するセンサ部２１のカメラや測距センサ等のセンサと共用されるセンサであってもよいし、追従対象を認識するセンサとは別に自律移動ロボット１１に設置されたセンサであってもよい。
　なお、追従対象予測部２４は、現在に至るまでに検出した追従対象の位置を、不図示の記憶部に、追従対象の移動履歴情報（時刻及び位置の情報）として記憶している。
　追従対象予測部２４は、検出した追従対象の現在位置、及び、移動履歴情報等に基づいて、追従対象の軌道（未来の軌道）を予測する。軌道とは、所定時間おきの時刻と、各時刻での位置（予測位置）を示す情報である。
　追従対象の軌道の予測には、例えば、particle filter（粒子フィルタ）を用いる方法や移動モデルを用いる方法など、任意の方法が用いられる。
　例えば、particle filterを用いた方法では、追従対象予測部２４は、追従対象（現在の追従対象に限らない）が同一区域内で過去に移動した際の移動履歴情報（移動軌跡情報）と現在の追従対象の現在に至るまでの移動履歴情報とに基づいて、現在の追従対象が未来において移動すると予測される軌道を推定する。追従対象が過去に移動した際の移動履歴情報は不図示の記憶部に予め記憶されている。追従対象予測部２４は、追従対象の軌道を予測する際に、多数の状態（軌道）を想定し、想定した各軌道の尤度を算出する。追従対象予測部２４は、それらの多数の軌道のうちの尤度が最も高い軌道を追従対象の軌道とする。
　移動モデルを用いた方法では、自律移動ロボット１１は、例えば、追従対象が現在の移動速度で、且つ、現在と同一曲率半径の経路に沿って移動すると仮定して、追従対象の軌道を予測する。
　移動モデルを用いた他の方法（social forceモデル）では、追従対象が、他の動体を回避するように移動すると仮定して、追従対象の軌道を予測する。
　なお、追従対象予測部２４は、追従対象が移動する区域の地図を事前に不図示の記憶部に記憶していてもよい。その場合に、追従対象予測部２４は、記憶されている地図に基づいて追従対象が移動可能な通路のみに限定して、追従対象の軌道を予測してもよい。
　追従対象予測部２４は、追従対象の軌道を予測する際に、障害物の存在を考慮し、追従対象が障害物を回避して移動することを条件としてもよい。追従対象予測部２４は、障害物の位置を事前に記憶した地図に基づいて検出してもよいし、LiDAR等の測距センサにより得られたセンサデータに基づいて検出してもよい。その場合の測距センサは、追従対象を認識するセンサと共用されるセンサであってもよいし、追従対象を認識するセンサとは別に自律移動ロボット１１に設置されたセンサであってもよい。
（自律移動ロボット１１の移動制御）
　移動制御部２５は、追従対象予測部２４により予測された追従対象の軌道に基づいて、現在に対して所定時間経過後の時点（予測時刻）において、自律移動ロボット１１が到達すべき位置（追従位置）及び姿勢（向き）を決定する。
　追従位置及び姿勢の決定では、移動制御部２５は、原則として（例外の場合を除いて）、次の第１条件と第２条件を満たすようにする。
　第１条件は、追従対象が追従対象予測部２４により予測された軌道に沿って移動した場合に、予測時刻において、自律移動ロボット１１の追従位置が、追従対象の位置（予測位置）に対して通常距離だけ離間するという条件である。通常距離は、上述のように追従対象認識部２２において、通常認識アルゴリズムによる追従対象の認識に適した距離であり、所定の距離閾値上の範囲内の距離をいう。ただし、通常距離は、所定の距離閾値以上で、かつ、所定の上限値以下の距離としてもよい。移動制御部２５は、原則として、追従対象の予測位置と自律移動ロボット１１の追従位置との距離が、通常距離となる範囲内で略一定の距離となるように、追従位置を決定する。
　第２条件は、追従対象が追従対象予測部２４により予測された軌道に沿って移動した場合に、予測時刻において、自律移動ロボット１１の追従位置及び姿勢での捕捉範囲６１が、予測位置での追従対象を含む（捕捉する）という条件である。
　移動制御部２５は、例外の場合を除いて、これらの第１条件及び第２条件を満たすように所定時間経過後における自律移動ロボット１１の追従位置及び姿勢を決定する。移動制御部２５は、更に、所定時間経過後における自律移動ロボット１１の位置及び姿勢が、決定した追従位置及び姿勢となるように自律移動ロボット１１の軌道を決定する。
　移動制御部２５は、自律移動ロボット１１の追従位置及び姿勢を決定する際に、障害物の存在を考慮する。障害物の位置は、追従対象予測部２４でも考慮され得る情報であり、追従対象予測部２４で検出される場合と同様にして移動制御部２５で検出される。
　移動制御部２５は、原則通りに、自律移動ロボット１１の追従位置及び姿勢を決定すると、自律移動ロボット１１と追従対象との間に障害物が介在する可能性がある場合、又は、追従対象が捕捉範囲６１から外れる可能性がある場合を例外の場合として、所定時間経過後における自律移動ロボット１１の追従位置及び姿勢を決定する。移動制御部２５は、例外の場合には、第１条件による制限を無効にして、第２条件を満たすように自律移動ロボット１１の追従位置及び姿勢を決定する。但し、第２条件は、自律移動ロボット１１の捕捉範囲６１が追従対象の一部分のみを含む場合も満たされるものする。
　このとき、移動制御部２５は、追従対象の予測位置と自律移動ロボット１１の追従位置との距離が、通常距離（上述の距離閾値）よりも短い距離となるように自律移動ロボット１１の追従位置及び姿勢を決定することで、自律移動ロボット１１と追従対象との間に障害物が介在する事態、又は、追従対象が捕捉範囲６１から外れる事態を回避することができる。ただし、移動制御部２５は、追従対象の予測位置と自律移動ロボット１１の追従位置との距離が、通常距離で、それらの事態を回避できる場合には、必ずしも、通常距離（上述の距離閾値）よりも短い距離となるように自律移動ロボット１１の追従位置及び姿勢を決定しない。
　移動制御部２５は、例外の場合として、所定時間経過後における自律移動ロボット１１の追従位置及び姿勢を決定すると、所定時間経過後における自律移動ロボット１１の位置及び姿勢が、決定した追従位置及び姿勢となるように自律移動ロボット１１の軌道を決定する。
　ここで、原則の場合、又は、例外の場合における自律移動ロボット１１の軌道の決定では、自律移動ロボット１１の姿勢を考慮して障害物にぶつからないようにするHybrid A*などの軌道計画設定の手法が用いられる場合であってよい。更に、決定された軌道に対して、動的な障害物と自律移動ロボット１１のダイナミクスを考慮しながら軌道を変更するDWA（Dynamic WaveArc）などの手法が用いられる場合であってもよい。障害物に衝突せずに追従位置・姿勢に向けて自律移動ロボット１１が移動することのできるように強化学習などの学習手法が用いられる場合であってよい。
　原則の場合、又は、例外の場合に自律移動ロボット１１の軌道が決定されると、その軌道に従って、自律移動ロボット１１を移動させる駆動信号（操作信号）が駆動部２６に供給される。これによって、自律移動ロボット１１が、移動制御部２５により決定された軌道に沿って移動する。
　なお、追従対象と自律移動ロボット１１との間に、追従対象と同種の物体や障害物が介在した場合や、自律移動ロボット１１が追従対象に近づき過ぎた場合等において、距離検出部２３が追従対象の距離を適切に検出できない事態が発生し得る。移動制御部２５は、そのような事態が発生した旨を距離検出部２３から通知された場合に、自律移動ロボット１１の移動を強制的に停止させるようにしてもよい。移動制御部２５は、自律移動ロボット１１の移動を停止させている間に、距離検出部２３から追従対象の距離を適切に検出できるようになった旨を通知された場合に、自律移動ロボット１１の移動を再開する。
＜自律移動ロボット１１の全体処理＞
　図８は、自律移動ロボット１１が追従対象を追従して移動するために実行する追従処理を全体の流れを示したフローチャートである。なお、図８は、追従対象が図２乃至図７のように人４１である場合を例示している。
　図８において、ステップＳ１１では、追従対象認識部２２は、センサ部２１からのセンサデータに基づいて追従対象である人４１を認識する。即ち、追従対象認識部２２は、捕捉範囲６１における人４１の領域、及び、距離検出部２３により検出される人４１の距離に基づいて、追従対象の人４１の位置を認識する。処理はステップＳ１１からステップＳ１３に進む。
　ステップＳ１２では、移動制御部２５は、ステップＳ１１と処理と並行して、センサ部２１からのセンサデータに基づいて、自律移動ロボット１１の周辺に存在する障害物を認識する。処理はステップＳ１２からステップＳ１３に進む。
　ステップＳ１３では、追従対象予測部２４は、ステップＳ１１で認識された人４１の位置に基づいて、未来における人４１の軌道（位置）を予測する。処理はステップＳ１３からステップＳ１４に進む。
　ステップＳ１４では、移動制御部２５は、ステップＳ１３で予測された人４１の位置、及び、ステップＳ１２で認識された障害物の存在（位置）に基づいて、自律移動ロボット１１の所定時間経過後における追従位置及び姿勢を決定する。処理はステップＳ１４からステップＳ１５に進む。
　ステップＳ１５では、移動制御部２５は、ステップＳ１４で決定した追従位置及び姿勢に従って自律移動ロボット１１が移動すべき軌道（行動計画）を決定し、決定した軌道に従って自律移動ロボット１１を駆動する。処理はステップＳ１５からステップＳ１１及びステップＳ１２に戻り、処理はステップＳ１１乃至ステップＳ１５を繰り返し実行する。
＜追従位置及び姿勢の決定処理＞
　図９は、図８のステップＳ１４における自律移動ロボット１１の追従位置及び姿勢の決定に関連する処理を例示したフローチャートである。
　ステップＳ３１では、追従対象認識部２２は、追従対象の人４１が通常認識アルゴリズムにより認識できるか否か、即ち、距離検出部２３により検出された人４１の距離が通常認識アルゴリズムにより認識できる通常距離か否かを判定する。
　ステップＳ３１において、追従対象の人４１が通常認識アルゴリズムにより認識できると判定された場合、即ち、追従対象の人４１の距離が通常距離であると判定された場合、処理はステップＳ３２に進む。
　ステップＳ３２では、追従対象認識部２２は、通常認識アルゴリズムにより追従対象の人４１を認識する。なお、認識する追従対象が人４１であるので、図９のステップＳ３２では、通常認識アルゴリズムによる人の認識を通常人認識と記載されている。処理はステップＳ３２からステップＳ３４に進む。
　ステップＳ３１において、追従対象の人４１が通常認識アルゴリズムにより認識できないと判定された場合、即ち、追従対象の人４１の距離が通常距離よりも短い距離であると判定された場合、処理はステップＳ３３に進む。
　ステップＳ３３では、追従対象認識部２２は、近距離向け認識アルゴリズムにより追従対象の人４１を認識する。なお、認識する追従対象が人４１であるので、図９のステップＳ３３では、近距離向け認識アルゴリズムによる人の認識を近距離向け人認識と記載されている。処理はステップＳ３３からステップＳ３４に進む。
　ステップＳ３４では、追従対象予測部２４は、ステップＳ３２又はステップＳ３３で認識された追従対象の人４１の位置に基づいて、追従対象の人４１の未来の軌道を予測する。処理はステップＳ３４からステップＳ３６に進む。
　なお、ステップＳ３５は、図８のステップＳ１２の障害物認識により移動制御部２５が障害物の位置を取得する処理である。
　ステップＳ３６では、移動制御部２５は、ステップＳ３４で予測された追従対象の人４１の軌道と、ステップＳ３５で取得された障害物の位置とに基づいて、自律移動ロボット１１のセンサ部２１から見て、追従対象の人４１が障害物により隠れる可能性があるか否かを判定する。
　ステップＳ３６において、追従対象の人４１が障害物により隠れる可能性があると判定された場合、処理はステップＳ３７に進み、移動制御部２５は、自律移動ロボット１１の追従位置を、追従対象の人４１に対して、原則の場合の通常距離よりも近づけた位置（短い距離の位置）に決定する。
　ステップＳ３６において、追従対象の人４１が障害物により隠れる可能性がないと判定された場合、処理はステップＳ３８に進み、移動制御部２５は、自律移動ロボット１１の追従位置を、追従対象の人４１に対して、原則通りの通常距離の位置に決定する。
　ステップＳ３７又はステップＳ３８の処理が実行されると、本フローチャートの処理が終了する。
　以上、本技術によれば、自律移動ロボット１１（センサ部２１）と追従対象との距離に応じて追従対象を認識する認識アルゴリズムが切り替えられる。したがって、障害物等により追従対象の認識（捕捉）ができなくなる事態を回避するために自律移動ロボット１１を追従対象に近づけた場合であっても、追従対対象を適切に捕捉して追従対象に自律移動ロボット１１を追従させることができる。
　以下、自律移動ロボット１１の使用の具体例について説明する。
（具体例１）
　自律移動ロボット１１が活用される場合の具体例１として、工場内で人に追従しながら自律移動ロボット１１が荷物の搬送を行う場合がある。
　具体例１での自律移動ロボット１１の活用環境は、次の通りである。
・動的な障害物としては、人、台車、及び、自動ドア等がある。
・静的な障害物としては、通路の曲がり角がある。通路の幅はある程度確保されているので通路自体に障害物となるものは少ない。
・自律移動ロボット１１の使用者や周りの人はロボットに慣れている。
・他の作業で人が一時的に停止することがある。
・追従対象の人は、ある程度低速な移動が多い。
・自律移動ロボット１１の追従が失敗する状況としては、主に曲がり角で追従対象の人が曲がる場合がある。
　具体例１での活用環境においては、自律移動ロボット１１に関する処理及び制御は、次のような形態で適正化する場合であってよい。
　自律移動ロボット１１の追従位置及び姿勢の決定、軌道の決定、及び、駆動等を行う移動制御部２５は、次のように自律移動ロボット１１を制御する。
　移動制御部２５は、曲がり角で自律移動ロボット１１に対して追従対象の人が遮蔽されてしまうと判定したときには、積載物を考慮し、危険でない程度まで追従対象の人に近づくように自律移動ロボット１１を移動させる。ただし、移動制御部２５は、追従対象の人が急に停止した場合に自律移動ロボット１１にブレーキをかけた際の制動距離以上には自律移動ロボット１１を追従対象に近づけないようにする。制動距離に基づいて、自律移動ロボット１１と追従対象の人とを最も近づけることができる距離を制限する場合には、移動制御部２５は、自律移動ロボット１１の最大ブレーキ量を考慮し、かつ、最大ブレーキ量が積載物の重さ・もろさに応じて制限されることを考慮する。制動距離は、移動速度を遅くすることで短くすることができるので、移動制御部２５は、自律移動ロボット１１を追従対象の人に近づける際には、自律移動ロボット１１が追従対象の人に近づく程、自律移動ロボット１１の移動速度を低下させる。
　追従対象を認識する追従対象認識部２２は、工場内では作業者が同じ服を着ていることが多いため、近距離向け認識アルゴリズムとして、測距センサを用いた第８認識アルゴリズムを採用する。
　追従対象の軌道を予測する追従対象予測部２４は、工場内の通行可能な通路を示す地図（ロボットを使用するための地図）を保有している場合に、その地図を用いて追従対象の人の軌道を予測する。追従対象予測部２４は、搬送場所についての事前知識がある場合はその情報に基づいて追従対象の人の軌道を予測する。
（具体例２）
　自律移動ロボット１１が活用される場合の具体例２として、工場内で人に追従しながら自律移動ロボット１１がロボット向けの地図を作成する場合がある。
　具体例２での自律移動ロボット１１の活用環境は、具体例１と同様であるので省略する。
　具体例２での活用環境においては、自律移動ロボット１１に関する処理及び制御は、次のような形態で適正化する場合であってよい。
　自律移動ロボット１１の追従位置及び姿勢の決定、軌道の決定、及び、駆動等を行う移動制御部２５は、次のように自律移動ロボット１１を制御する。
　移動制御部２５は、曲がり角で自律移動ロボット１１に対して追従対象の人が遮蔽されてしまうと判定したときには、危険でない程度まで追従対象の人に近づくように自律移動ロボット１１を移動させる。ただし、移動制御部２５は、追従対象の人が急に停止した場合に自律移動ロボット１１にブレーキをかけた際の制動距離以上には自律移動ロボット１１を追従対象に近づけないようにする。制動距離に基づいて、自律移動ロボット１１と追従対象の人とを最も近づけることができる距離を制限する場合には、移動制御部２５は、自律移動ロボット１１の最大ブレーキ量を考慮する。制動距離は、移動速度を遅くすることで短くすることができるので、移動制御部２５は、自律移動ロボット１１を追従対象の人に近づける際には、自律移動ロボット１１が追従対象の人に近づく程、自律移動ロボット１１の移動速度を低下させる。
　具体例２は、工場内でロボット向けの地図を作成するために自律移動ロボット１１が活用されている場合であるので、追従対象の軌道を予測する追従対象予測部２４は、ロボット向けの地図を保有していない。追従対象予測部２４は、例えば、particle filterを用いる方法や移動モデルを用いる方法などにより追従対象の人の軌道を予測する。
（具体例３）
　自律移動ロボット１１が活用される場合の具体例３として、オフィス内で人に追従しながら自律移動ロボット１１が荷物の搬送を行う場合がある。
　具体例３での自律移動ロボット１１の活用環境は、次の通りである。
・動的な障害物としては、人、台車、及び、自動ドア等がある。
・静的な障害物としては、通路の曲がり角がある。曲がり角は多い。通路の幅が狭く、通路上に障害物がある。
・自律移動ロボット１１の使用者や周りの人はロボットに慣れている。
・他の作業で人が一時的に停止することがある。
・自律移動ロボット１１の追従が失敗する状況としては、曲がり角で追従対象の人が曲がる場合がある。
・自律移動ロボット１１の追従が失敗する状況としては、自律移動ロボット１１が人などを回避するために回避動作を行っているうちに追従対象の人を捕捉し損なう場合がある。
　具体例３での活用環境においては、自律移動ロボット１１に関する処理及び制御は、次のような形態で適正化する場合であってよい。
　自律移動ロボット１１の追従位置及び姿勢の決定、軌道の決定、及び、駆動等を行う移動制御部２５は、次のように自律移動ロボット１１を制御する。
　移動制御部２５は、曲がり角に差し掛かった時などに自律移動ロボット１１に対して追従対象の人が遮蔽されてしまうと判定したときには、追従対象の人に近づくように自律移動ロボット１１を移動させる。ただし、移動制御部２５は、追従対象の人が急に停止した場合に自律移動ロボット１１にブレーキをかけた際の制動距離以上には自律移動ロボット１１を追従対象に近づけないようにする。更に、移動制御部２５は、人が不快に思うパーソナルスペースを考慮した距離以上は自律移動ロボット１１を人に接近させない。移動制御部２５は、追従対象以外の近くを歩行する歩行者の軌道を予測する。移動制御部２５は、予測した歩行者の軌道に基づいて、追従対象の人と、自律移動ロボット１１との間に歩行者が割り込もうとしていると判定した場合には、その歩行者が割り込めない程度まで追従対象の人に自律移動ロボット１１を近づける。これによって、追従対象の人の捕捉が他の歩行者によって阻害されることを阻止することができる。
　追従対象を認識する追従対象認識部２２は、近距離向け認識アルゴリズムにおいて、狭い道幅に複数の人が存在する場合、動体を追従対象の人として認識する認識アルゴリズムでは別の人を追従対象として誤認識することが多いため、近距離向け認識アルゴリズムとして、特徴量抽出を用いた第６認識アルゴリズムを採用する。
　追従対象の軌道を予測する追従対象予測部２４は、オフィス内の地図を用いて通行可能な通路を割り出し、particle filter等を用いる方法により追従対象の人の軌道を予測する。
（具体例４）
　自律移動ロボット１１が活用される場合の具体例４として、空港内で人に追従しながら自律移動ロボット１１が荷物を運ぶ場合がある。
　具体例４での自律移動ロボット１１の活用環境は、次の通りである。
・動的な障害物としては、人、人の運ぶキャリーケース及びカート等がある。
・静的な障害物としては、柱等がある。開けた空間であることが多く、静的な障害物は少ない。
・自律移動ロボット１１の使用者や周りの人はあまり自律移動ロボット１１を意識して移動していない。
・追従対象の人は、通常の歩行速度で移動する場合が多い。
・自律移動ロボット１１の追従が失敗する状況としては、曲がり角で追従対象の人が曲がる場合がある。
・自律移動ロボット１１の追従が失敗する状況としては、自律移動ロボット１１が人などを回避するために回避動作を行っているうちに追従対象の人を捕捉し損なう場合がある。
・自律移動ロボット１１の追従が失敗する状況としては、自律移動ロボット１１と追従対象の人との間に動的障害物が割り込む場合がある。
・自律移動ロボット１１の追従が失敗する状況としては、自律移動ロボット１１が例えば全方位移動ではなく差動二輪などの場合、追従対象の人が横方向など大きく移動方向を変更して捕捉範囲６１から外れる場合がある。
　具体例４での活用環境においては、自律移動ロボット１１に関する処理及び制御は、次のような形態で適正化する場合であってよい。
　自律移動ロボット１１の追従位置及び姿勢の決定、軌道の決定、及び、駆動等を行う移動制御部２５は、次のように自律移動ロボット１１を制御する。
　移動制御部２５は、具体例３の場合と同様に、追従対象以外の近くを歩行する歩行者の軌道を予測する。移動制御部２５は、予測した歩行者の軌道に基づいて、追従対象の人と、自律移動ロボット１１との間に歩行者が割り込もうとしていると判定した場合には、その歩行者が割り込めない程度まで追従対象の人に自律移動ロボット１１を近づける。歩行者が割りこめないように追従対象の人に自律移動ロボット１１を近づけた場合でも、その歩行者の移動方向が変わらない場合には、衝突の可能性があるため、移動制御部２５は、追従対象の人に自律移動ロボット１１を近づけることを停止し、歩行者との衝突回避を優先する。移動制御部２５は、追従対象の人の存在尤度の高い方向に自律移動ロボット１１を向けて、追従対象認識部２２による追従対象の人の認識を試みる。認識できない場合は、移動制御部２５（又は追従対象予測部２４）は、追従対象の人の軌道の推定を行う。
　追従対象を認識する追従対象認識部２２は、追従対象の人と自律移動ロボット１１の接近時における人に認識は、距離に基づく方法を用いると、周囲の人との誤認識が発生するため、近距離向け認識アルゴリズムとして、特徴量抽出を用いた第６認識アルゴリズムを採用する。
＜プログラム＞
　上述した自律移動ロボット１１における一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１０は、自律移動ロボット１１が実行する各処理をコンピュータがプログラムにより実行する場合の、コンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術は以下のような構成も取ることができる。
（１）
　追従対象に追従するために駆動される駆動部と、
　前記追従対象を認識する認識部であって、前記追従対象までの距離、又は、前記追従対象までの距離に基づく前記追従対象の認識精度に基づいて、前記追従対象を認識する認識アルゴリズムを変更する認識部と、
　前記認識部により認識された前記追従対象の位置に基づいて、前記駆動部を制御する制御部と
　を有する情報処理装置。
（２）
　前記認識部は、
　前記追従対象までの距離が所定の距離閾値以上の通常距離である場合に、前記認識アルゴリズムを、通常距離向けの認識アルゴリズムに設定し、
　前記追従対象までの距離が前記距離閾値よりも短い場合に、前記認識アルゴリズムを近距離向けの認識アルゴリズムに設定する
　前記（１）に記載の情報処理装置。
（３）
　前記認識部は、
　前記通常距離向けの認識アルゴリズムとして、カメラにより撮影された画像から、前記追従対象の全体的な特徴に合致する領域を検出する
　前記（２）に記載の情報処理装置。
（４）
　前記認識部は、
　前記通常距離向けの認識アルゴリズムとして、カメラにより撮影された画像から、動体の領域を前記追従対象の領域として検出する
　前記（２）に記載の情報処理装置。
（５）
　前記認識部は、
　前記通常距離向けの認識アルゴリズムとして、測距センサにより測距された測距範囲から、動体の領域を前記追従対象の領域として検出する
　前記（２）に記載の情報処理装置。
（６）
　前記認識部は、
　前記通常距離向けの認識アルゴリズムとして、測距センサにより測距された測距範囲から、前記追従対象の形状に合致する領域を検出する
　前記（２）に記載の情報処理装置。
（７）
　前記認識部は、
　前記近距離向けの認識アルゴリズムとして、カメラにより撮影された画像から、前記追従対象の代表的な色に合致する領域を検出する
　前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記認識部は、
　前記近距離向けの認識アルゴリズムとして、カメラにより撮影された画像から、前記追従対象に対応した特徴量に合致する領域を検出する
　前記（２）乃至（６）のいずれかに記載の情報処理装置。
（９）
　前記認識部は、
　前記近距離向けの認識アルゴリズムとして、測距センサにより測距された測距範囲から、動体の領域を前記追従対象の領域として検出する
　前記（２）乃至（６）のいずれかに記載の情報処理装置。
（１０）
　前記追従対象の軌道を予測する予測部
　を更に有し、
　前記制御部は、前記予測部により予測された軌道に沿って移動した前記追従対象に対する前記認識部の認識が障害物により阻害されると予測された場合に、前記追従対象までの距離が前記距離閾値よりも短い距離となるように前記駆動部を制御する
　前記（２）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記追従対象の軌道を予測する予測部
　を更に有し、
　前記制御部は、前記予測部により予測された軌道に沿って移動した前記追従対象が、前記認識部により前記追従対象を認識可能な捕捉範囲から外れると予測された場合に、前記追従対象までの距離が前記距離閾値よりも短い距離となるように前記駆動部を制御する
　前記（２）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記通常距離は、前記認識部が前記追従対象の全体を認識可能な距離である
　前記（２）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記追従対象は、人である
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　駆動部と、認識部と、制御部と
　を有する情報処理装置の
　前記駆動部が、追従対象に追従するために駆動される駆動ステップと、
　前記認識部が、前記追従対象を認識する認識ステップであって、前記追従対象までの距離、又は、前記追従対象までの距離に基づく前記追従対象の認識精度に基づいて、前記追従対象を認識する認識アルゴリズムを変更する認識ステップと、
　前記制御部が、前記認識ステップにより認識された前記追従対象の位置に基づいて、前記駆動ステップの前記駆動を制御する制御ステップと
　を有する情報処理方法。
（１５）
　コンピュータを
　追従対象に追従するために駆動される駆動部と、
　前記追従対象を認識する認識部であって、前記追従対象までの距離、又は、前記追従対象までの距離に基づく前記追従対象の認識精度に基づいて、前記追従対象を認識する認識アルゴリズムを変更する認識部と、
　前記認識部により認識された前記追従対象の位置に基づいて、前記駆動部を制御する制御部
　として機能させるためのプログラム。
　１１　自律移動ロボット，　２１　センサ部，　２２　追従対象認識部，　２３　距離検出部，　２４　追従対象予測部，　２５　移動制御部，　２６　駆動部

Claims (15)

  1. 　追従対象に追従するために駆動される駆動部と、
    　前記追従対象を認識する認識部であって、前記追従対象までの距離、又は、前記追従対象までの距離に基づく前記追従対象の認識精度に基づいて、前記追従対象を認識する認識アルゴリズムを変更する認識部と、
    　前記認識部により認識された前記追従対象の位置に基づいて、前記駆動部を制御する制御部と
    　を有する情報処理装置。
  2. 　前記認識部は、
    　前記追従対象までの距離が所定の距離閾値以上の通常距離である場合に、前記認識アルゴリズムを、通常距離向けの認識アルゴリズムに設定し、
    　前記追従対象までの距離が前記距離閾値よりも短い場合に、前記認識アルゴリズムを近距離向けの認識アルゴリズムに設定する
    　請求項１に記載の情報処理装置。
  3. 　前記認識部は、
    　前記通常距離向けの認識アルゴリズムとして、カメラにより撮影された画像から、前記追従対象の全体的な特徴に合致する領域を検出する
    　請求項２に記載の情報処理装置。
  4. 　前記認識部は、
    　前記通常距離向けの認識アルゴリズムとして、カメラにより撮影された画像から、動体の領域を前記追従対象の領域として検出する
    　請求項２に記載の情報処理装置。
  5. 　前記認識部は、
    　前記通常距離向けの認識アルゴリズムとして、測距センサにより測距された測距範囲から、動体の領域を前記追従対象の領域として検出する
    　請求項２に記載の情報処理装置。
  6. 　前記認識部は、
    　前記通常距離向けの認識アルゴリズムとして、測距センサにより測距された測距範囲から、前記追従対象の形状に合致する領域を検出する
    　請求項２に記載の情報処理装置。
  7. 　前記認識部は、
    　前記近距離向けの認識アルゴリズムとして、カメラにより撮影された画像から、前記追従対象の代表的な色に合致する領域を検出する
    　請求項２に記載の情報処理装置。
  8. 　前記認識部は、
    　前記近距離向けの認識アルゴリズムとして、カメラにより撮影された画像から、前記追従対象に対応した特徴量に合致する領域を検出する
    　請求項２に記載の情報処理装置。
  9. 　前記認識部は、
    　前記近距離向けの認識アルゴリズムとして、測距センサにより測距された測距範囲から、動体の領域を前記追従対象の領域として検出する
    　請求項２に記載の情報処理装置。
  10. 　前記追従対象の軌道を予測する予測部
    　を更に有し、
    　前記制御部は、前記予測部により予測された軌道に沿って移動した前記追従対象に対する前記認識部の認識が障害物により阻害されると予測された場合に、前記追従対象までの距離が前記距離閾値よりも短い距離となるように前記駆動部を制御する
    　請求項２に記載の情報処理装置。
  11. 　前記追従対象の軌道を予測する予測部
    　を更に有し、
    　前記制御部は、前記予測部により予測された軌道に沿って移動した前記追従対象が、前記認識部により前記追従対象を認識可能な捕捉範囲から外れると予測された場合に、前記追従対象までの距離が前記距離閾値よりも短い距離となるように前記駆動部を制御する
    　請求項２に記載の情報処理装置。
  12. 　前記通常距離は、前記認識部が前記追従対象の全体を認識可能な距離である
    　請求項２に記載の情報処理装置。
  13. 　前記追従対象は、人である
    　請求項１に記載の情報処理装置。
  14. 　駆動部と、認識部と、制御部と
    　を有する情報処理装置の
    　前記駆動部が、追従対象に追従するために駆動される駆動ステップと、
    　前記認識部が、前記追従対象を認識する認識ステップであって、前記追従対象までの距離、又は、前記追従対象までの距離に基づく前記追従対象の認識精度に基づいて、前記追従対象を認識する認識アルゴリズムを変更する認識ステップと、
    　前記制御部が、前記認識ステップにより認識された前記追従対象の位置に基づいて、前記駆動ステップの前記駆動を制御する制御ステップと
    　を有する情報処理方法。
  15. 　コンピュータを
    　追従対象に追従するために駆動される駆動部と、
    　前記追従対象を認識する認識部であって、前記追従対象までの距離、又は、前記追従対象までの距離に基づく前記追従対象の認識精度に基づいて、前記追従対象を認識する認識アルゴリズムを変更する認識部と、
    　前記認識部により認識された前記追従対象の位置に基づいて、前記駆動部を制御する制御部
    　として機能させるためのプログラム。
PCT/JP2022/004810 2021-05-28 2022-02-08 情報処理装置、情報処理方法、及び、プログラム WO2022249563A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023523981A JPWO2022249563A1 (ja) 2021-05-28 2022-02-08

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-089859 2021-05-28
JP2021089859 2021-05-28

Publications (1)

Publication Number Publication Date
WO2022249563A1 true WO2022249563A1 (ja) 2022-12-01

Family

ID=84229738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004810 WO2022249563A1 (ja) 2021-05-28 2022-02-08 情報処理装置、情報処理方法、及び、プログラム

Country Status (2)

Country Link
JP (1) JPWO2022249563A1 (ja)
WO (1) WO2022249563A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256235A (ja) * 2011-06-09 2012-12-27 Mitsubishi Electric Corp 運転支援用情報提供装置、車載運転支援装置及び運転支援システム
JP2017151535A (ja) * 2016-02-22 2017-08-31 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US20200393846A1 (en) * 2019-06-11 2020-12-17 Lingdong Technology (Beijing) Co. Ltd Self-driving systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256235A (ja) * 2011-06-09 2012-12-27 Mitsubishi Electric Corp 運転支援用情報提供装置、車載運転支援装置及び運転支援システム
JP2017151535A (ja) * 2016-02-22 2017-08-31 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US20200393846A1 (en) * 2019-06-11 2020-12-17 Lingdong Technology (Beijing) Co. Ltd Self-driving systems

Also Published As

Publication number Publication date
JPWO2022249563A1 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
EP3385811B1 (en) Method for controlling a plurality of cleaning robots
EP3466764B1 (en) Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
US11645916B2 (en) Moving body behavior prediction device and moving body behavior prediction method
Moosmann et al. Joint self-localization and tracking of generic objects in 3D range data
US20210146540A1 (en) Method of identifying dynamic obstacle and robot implementing same
Chen et al. Person following robot using selected online ada-boosting with stereo camera
KR102287460B1 (ko) 인공지능 무빙 에이전트
CN111630460A (zh) 自主移动装置的路径规划
JP2023507104A (ja) 経路内障害物検出及び回避システム
CN112650235A (zh) 一种机器人避障控制方法、系统及机器人
US11281227B2 (en) Method of pedestrian activity recognition using limited data and meta-learning
US11969898B2 (en) Multi-sensor optimization of automatic machines to prevent safety issues
CN110858098A (zh) 使用人-机器人交互的自驱动移动机器人
CN111103875B (zh) 避让的方法、设备及存储介质
CN113853532A (zh) 基于激光雷达和雷达的跟踪和映射系统及其方法
Palazzo et al. Domain adaptation for outdoor robot traversability estimation from RGB data with safety-preserving loss
WO2022249563A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR20210026595A (ko) 로봇이 관리자 모드로 이동하는 방법 및 이를 구현하는 로봇
US20210137438A1 (en) Control system for mobile robots
Chaki et al. A framework of an obstacle avoidance robot for the visually impaired people
Márquez-Gámez et al. Active visual-based detection and tracking of moving objects from clustering and classification methods
Budiharto et al. A new obstacle avoidance method for service robots in indoor environments
Liu et al. Tracking and classification of dynamic obstacles with laser range finder in indoor environments
Juang et al. Document delivery robot based on image processing and fuzzy control
Malviya et al. Tracking vehicle and faces: towards socialistic assessment of human behaviour

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22810847

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023523981

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18561739

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE