WO2022176444A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2022176444A1
WO2022176444A1 PCT/JP2022/000803 JP2022000803W WO2022176444A1 WO 2022176444 A1 WO2022176444 A1 WO 2022176444A1 JP 2022000803 W JP2022000803 W JP 2022000803W WO 2022176444 A1 WO2022176444 A1 WO 2022176444A1
Authority
WO
WIPO (PCT)
Prior art keywords
amount
cluster
information processing
processing apparatus
translation
Prior art date
Application number
PCT/JP2022/000803
Other languages
English (en)
French (fr)
Inventor
正春 松戸
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022176444A1 publication Critical patent/WO2022176444A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program for detecting motion of an object.
  • Patent Document 1 Various techniques for detecting the movement of objects have been developed (see Patent Document 1, for example). For example, as a method of estimating a three-dimensional motion of an object using three-dimensional point cloud data acquired from a distance measuring sensor, there are various methods using three-dimensional registration.
  • An information processing apparatus clusters each of three-dimensional point cloud data of a first object and three-dimensional point cloud data of a second object into at least one cluster.
  • a clustering processing unit a position information calculation unit that calculates position information of point cloud data for each cluster for each of the first object and the second object; position information of the first object and the position of the second object; The amount of translation and the amount of rotation of the second object with respect to the first object are calculated by performing three-dimensional registration processing of the cluster of the first object and the cluster of the second object based on the information. and a movement amount calculation unit.
  • An information processing method clusters each of three-dimensional point cloud data of a first object and three-dimensional point cloud data of a second object into at least one cluster. Calculating the position information of the point cloud data for each cluster for each of the first object and the second object, Based on the position information of the first object and the position information of the second object and calculating the amount of translation and rotation of the second object with respect to the first object by performing a three-dimensional alignment process between the cluster of the first object and the cluster of the second object.
  • a program clusters each of three-dimensional point cloud data of a first object and three-dimensional point cloud data of a second object into at least one cluster. , calculating the position information of the point cloud data for each cluster for each of the first object and the second object, and based on the position information of the first object and the position information of the second object, calculating a translation amount and a rotation amount of the second object with respect to the first object by performing three-dimensional registration processing of the cluster of the first object and the cluster of the second object; let the computer do it.
  • each of the three-dimensional point cloud data of the first object and the three-dimensional point cloud data of the second object is at least Cluster into one cluster. Then, the amount of translation and the amount of rotation of the second object with respect to the first object are calculated by performing three-dimensional alignment processing between the cluster of the first object and the cluster of the second object.
  • FIG. 10 is an explanatory diagram showing an outline of a motion detection method according to a comparative example
  • FIG. 1 is an explanatory diagram showing an outline of a motion detection technique by an information processing apparatus and an information processing method according to a first embodiment of the present disclosure
  • 1 is a block diagram showing one configuration example of an information processing apparatus according to a first embodiment
  • FIG. 4 is a block diagram showing a configuration example of a movement amount/rotation amount calculation unit in the information processing apparatus according to the first embodiment
  • FIG. 4 is a flowchart showing an example of the flow of motion detection processing operations in the information processing apparatus according to the first embodiment
  • FIG. 1 is an explanatory diagram showing an outline of a motion detection technique by an information processing apparatus and an information processing method according to a first embodiment of the present disclosure
  • 1 is a block diagram showing one configuration example of an information processing apparatus according to a first embodiment
  • FIG. 4 is a block diagram showing a configuration example of a movement amount/rotation amount calculation unit in the information processing apparatus according to the first
  • FIG. 4 is an explanatory diagram showing an example of temporal smoothing processing using a Kalman filter in the information processing apparatus according to the first embodiment
  • FIG. 4 is an explanatory diagram showing an example of temporal smoothing processing using a Kalman filter in the information processing apparatus according to the first embodiment
  • FIG. 4 is an explanatory diagram showing an example of temporal smoothing processing using a Kalman filter in the information processing apparatus according to the first embodiment
  • FIG. 7 is an explanatory diagram showing an example of clustering processing when crowd flow estimation is performed in the information processing apparatus according to the first embodiment
  • FIG. 7 is an explanatory diagram showing an example of clustering processing when crowd flow estimation is performed in the information processing apparatus according to the first embodiment
  • FIG. 7 is an explanatory diagram showing an example of clustering processing when crowd flow estimation is performed in the information processing apparatus according to the first embodiment
  • FIG. 7 is an explanatory diagram showing an example of clustering processing when crowd flow estimation is performed in the information processing apparatus according to the first embodiment;
  • FIG. 4 is an explanatory diagram showing an example of clustering processing in the information processing apparatus according to the first embodiment;
  • FIG. 4 is an explanatory diagram showing an example of clustering processing according to object types in the information processing apparatus according to the first embodiment;
  • FIG. 4 is an explanatory diagram showing an example of clustering processing according to object types in the information processing apparatus according to the first embodiment;
  • FIG. 4 is an explanatory diagram showing an example of clustering processing according to object types in the information processing apparatus according to the first embodiment;
  • FIG. 4 is an explanatory diagram showing an example of clustering processing according to object types in the information processing apparatus according to the first embodiment;
  • FIG. 4 is an explanatory diagram showing an example of clustering processing according to object types in the information processing apparatus according to the first embodiment;
  • FIG. 4 is an explanatory diagram showing an example of clustering processing according to object types in the information processing apparatus
  • FIG. 4 is an explanatory diagram showing an example of clustering processing according to object types in the information processing apparatus according to the first embodiment
  • FIG. 4 is an explanatory diagram showing an example of clustering processing according to object types in the information processing apparatus according to the first embodiment
  • FIG. 4 is an explanatory diagram showing an example of clustering processing according to object types in the information processing apparatus according to the first embodiment
  • FIG. 11 is an explanatory diagram showing an outline of a motion detection method by an information processing device according to a modification of the first embodiment
  • 9 is a flowchart showing an example of the flow of motion detection processing operations in the information processing apparatus according to the modification of the first embodiment
  • FIG. 11 is a block diagram showing a configuration example of an information processing apparatus according to a second embodiment
  • FIG. 1 shows an outline of a motion detection method according to a comparative example.
  • Fig. 1 shows an example of a method of motion detection by representing the three-dimensional point cloud data of an object with a normal distribution of one cluster.
  • the object at time t-1 (past) is the first object
  • the object at time t (current) is the second object.
  • the amount of translation and the amount of rotation of the object at time t with respect to the object at time t ⁇ 1 are calculated.
  • the motion detection method according to the comparative example it is difficult to achieve both accuracy and processing speed.
  • the processing speed it is considered that the technique combined with the reduction of the amount of data is good.
  • the position of the center of gravity of the object is calculated, and the difference between the positions of the center of gravity can be used for estimation in many cases (can be calculated by the difference between points).
  • the point information is insufficient, and the problem is how to perform motion estimation including the amount of rotation while maintaining the amount of information.
  • FIG. 2 shows an overview of the motion detection technique by the information processing apparatus and the information processing method according to the first embodiment of the present disclosure.
  • the object at time t-1 (past) is the first object
  • the object at time t (current) is the second object. That is, the second object is an object after the predetermined time has passed from the first object.
  • the amount of translation and the amount of rotation of the object at time t with respect to the object at time t ⁇ 1 are calculated.
  • the motion detection technique in the first embodiment includes the following processing procedure.
  • Process 1 Each of the three-dimensional point cloud data of the object at time t and the three-dimensional point cloud data of the object at time t-1 is clustered into at least one (N) cluster (Fig. 2 (A)).
  • Each reference position for example, the center of gravity position Pt, Pt-1) of all the point groups in the object at time t and all the point groups in the object at time t-1 is calculated (one piece) (Fig. 2 ( A)).
  • the reference position is not limited to the position of the center of gravity, and may be any position close to the center, such as the average position or the median (central position).
  • the motion detection method in the first embodiment compresses the amount of data to be used and improves the processing speed (processing 1, processing 3). Further, holding the distribution information (process 3) improves accuracy. Also, accuracy is improved by calculating the translation amount and the rotation amount in detail (Process 5, Process 6, Process 7) after roughly calculating the translation amount (Process 2, Process 4).
  • the object may be further divided into parts, and a normal distribution may be taken for each to calculate a more accurate amount of translation and rotation.
  • temporal smoothing may be performed on the translation amount and rotation amount based on the calculated translation amount and rotation amount and the position information of the object at time t.
  • smoothing processing using a Kalman filter may be performed as temporal smoothing processing.
  • processing 5 and processing 6 after aligning the positions of the center of gravity Pt-1 and Pt so as to be the origin P0, by performing three-dimensional alignment processing based on GICP, regardless of the coordinate position, , the amount of translation and the amount of rotation can be calculated. In addition, by correcting the general GICP and aligning in consideration of the dispersion within the cluster, the calculation accuracy is improved.
  • the covariance matrix is calculated from several neighboring points for all point groups used in ICP, and by approximating the covariance matrix with a plane, the calculation time is shortened and the calculation convergence is improved. .
  • This is sufficient for a point group, but in the motion detection method of the first embodiment, if clustering is performed not on a few neighboring points but on a wider range, the amount of information is reduced, and the amount of translation and rotation is reduced. Decrease in calculation accuracy. Therefore, in the motion detection method according to the first embodiment, the cluster dispersion is used as it is without performing the plane approximation, so that the alignment can be performed more accurately. This makes it possible to calculate the amount of translation and the amount of rotation more in line with the actual shape of the object.
  • FIG. 3 shows a configuration example of the information processing device 1 according to the first embodiment.
  • the information processing device 1 shown in FIG. 3 is applied to a mobile body having a moving mechanism 42, for example.
  • the moving body includes a drive control section 41 , a moving mechanism 42 and a moving sensor 43 .
  • the moving body also includes sensors 11 , 12 , an inertial measurement unit (IMU) 13 , and a GNSS (Global Navigation Satellite System) 14 .
  • IMU inertial measurement unit
  • GNSS Global Navigation Satellite System
  • the information processing apparatus 1 includes a clustering processing unit 21, an object detection unit 22, a coordinate system conversion unit 23, a coordinate system conversion unit 24, a segmentation processing unit 25, a non-object processing unit 26, and an action planning unit 27. , a self-position estimation unit 28 , and a movement amount/rotation amount calculation unit 30 .
  • the sensor 11 outputs point cloud data used for clustering.
  • the sensor 12 outputs image data used for object detection.
  • the sensor 11 is, for example, a ranging sensor.
  • the sensor 11 may be LiDAR (Laser Imaging Detection and Ranging) or Radar (RAdio Detection And Ranging).
  • the sensor 11 may be a range image camera such as a ToF (Time of Flight) camera or a stereo camera.
  • the sensor 11 may be an RGB-D camera capable of acquiring a depth image (Depth) in addition to color images (RGB).
  • the sensor 12 may be, for example, an image camera (RGB camera, monochrome camera, etc.) or a range sensor.
  • the clustering processing unit 21 performs clustering processing based on the point cloud data from the sensor 11 to generate cluster group data including at least one cluster.
  • the clustering processing unit 21 may change at least one of the number of clusters to be generated and the range of clusters to be generated based on the type of object (see FIGS. 12 to 19 described later).
  • the object detection unit 22 performs object detection processing based on the image data from the sensor 12 .
  • the object detection unit 22 may detect objects by, for example, CNN (Convolutional Neural Network) or DNN (Deep Neural Network).
  • the object detection unit 22 detects a combination of geometric shapes. If the shape is the same as that of a typical person and the shapes are connected, processing for determining that the person is a person may be performed.
  • the object detection unit 22 may perform object detection by pattern matching. For example, an object template may be prepared, and an object that matches the template may be determined as an object.
  • FIG. 3 shows an example in which output data from separate sensors are used for clustering processing and object detection
  • one sensor may be shared for clustering processing and object detection.
  • the input data are numbered, and clusters containing data determined to be objects by object detection are classified as objects. You may make it determine with a cluster.
  • the point cloud data acquired by a range sensor is used for both clustering processing and object detection
  • the point cloud data is numbered, and the cluster containing the point cloud determined as an object in object detection is may be determined as an object.
  • clusters present in the area detected by the object detection unit 22 are A cluster of objects may be determined.
  • the detection area of the object by the object detection unit 22 there is a method of defining it within the shape, for example, a method of using a boundinx box.
  • a method of defining a probability distribution and judging an area where the probability is equal to or higher than a threshold value as an object area may be considered.
  • the self-position estimator 28 estimates the self-position/orientation based on the inertial measurement data from the inertial measurement device 13, the positioning data from the GNSS 14, and the movement amount information of the self-body from the movement sensor 43.
  • the coordinate system conversion unit 23 performs coordinate conversion on the cluster group data from the clustering processing unit 21 between sensor coordinates and map coordinates. Further, the coordinate system conversion unit 23 performs coordinate conversion between the sensor coordinates and the map coordinates for the self-position/orientation data from the self-position estimation unit 28 .
  • the coordinate system conversion unit 24 performs coordinate conversion on the object data from the clustering processing unit 21 between sensor coordinates and map coordinates. Further, the coordinate system conversion unit 24 performs coordinate conversion between the sensor coordinates and the map coordinates for the self-position/orientation data from the self-position estimation unit 28 .
  • the segmentation processing unit 25 segments the cluster group data into objects and non-objects (background, etc.).
  • the non-object processing unit 26 performs predetermined processing on the data of the non-object cluster group.
  • the movement amount/rotation amount calculation unit 30 performs processing for calculating the translation amount and rotation amount of the object based on the data of the cluster group of the object.
  • the action planning unit 27 plans the action of the moving body based on the processing results of the non-object processing unit 26 and the movement amount/rotation amount calculation unit 30 and the self-position/orientation information from the self-position estimation unit 28. , to the drive control unit 41 .
  • the information processing device 1 may be configured by a microcomputer having, for example, a CPU (Central Processing Unit), ROM (Read Only Memory), and RAM (Random Access Memory).
  • the processing by the information processing device 1 can be realized by the CPU executing processing based on a program stored in the ROM or RAM.
  • the processing by the information processing apparatus 1 may be realized by the CPU executing processing based on a program externally supplied via a wired or wireless network, for example.
  • FIG. 4 shows a configuration example of the movement amount/rotation amount calculation unit 30 in the information processing apparatus 1 according to the first embodiment.
  • the movement/rotation amount calculation unit 30 has an object center-of-gravity position calculation unit 31 , an object center-of-gravity alignment unit 32 , a rotation/translation amount calculation unit 33 , and a time smoothing unit 34 .
  • the movement amount/rotation amount calculation unit 30 corresponds to a specific example of the "movement amount calculation unit” in the technology of the present disclosure.
  • the object center-of-gravity position calculation unit 31 corresponds to a specific example of the “position information calculation unit” in the technology of the present disclosure.
  • the object center-of-gravity position calculation unit 31 performs the processes 2 to 4 described above.
  • the object center-of-gravity alignment unit 32 performs the process 5 described above.
  • the rotation amount/translation amount calculation unit 33 performs the processes 6 and 7 described above.
  • the temporal smoothing unit 34 performs temporal smoothing processing on the translation amount and rotation amount calculated by the rotation amount/translation amount calculation unit 33 .
  • the temporal smoothing unit 34 performs, for example, smoothing processing using a Kalman filter as temporal smoothing processing.
  • FIG. 5 is a flowchart showing an example of the flow of motion detection processing operations in the information processing apparatus 1 according to the first embodiment.
  • point cloud data from the sensor 11 and image data from the sensor 12 are input to the information processing device 1 (step S11).
  • the information processing apparatus 1 performs clustering processing and coordinate transformation processing on the point cloud data to generate cluster group data (step S12).
  • the information processing apparatus 1 performs segmentation into objects and non-objects (background etc.) for the data of the cluster group (step S13).
  • the information processing device 1 determines whether or not the cluster group is an object targeted for motion detection (step S14). If it is determined that the object is not a motion detection target (step S14; N), the information processing apparatus 1 excludes it from motion detection targets.
  • the information processing device 1 calculates the position of the center of gravity of the object (step S15). Next, the information processing device 1 calculates a coarse translation amount Tc. Next, the information processing apparatus 1 aligns the positions of the centers of gravity (step S16). Next, the information processing device 1 calculates a more accurate amount of translation Tf and amount of rotation Rf (step S17). As for the amount of translation, Tc+Tf is the final amount of translation. Next, the information processing device 1 performs temporal smoothing processing in the temporal smoothing unit 34 (step S18).
  • step S16 when performing temporal smoothing processing by the temporal smoothing unit 34, the process returns to step S16 as appropriate.
  • temporal smoothing processing by the temporal smoothing unit 34 an example of temporal smoothing processing using a Kalman filter will be described.
  • 6 to 8 show an example of temporal smoothing processing using a Kalman filter in the information processing device 1 according to the first embodiment.
  • Time smoothing processing using the Kalman filter includes the following processing.
  • the state variables are the position, the amount of translation, and the amount of rotation (FIGS. 6 and 7). It is assumed that there is always an error at the time of observation, and that error (variance) is known.
  • Correction Correction is made so that the prediction result is closer to the observation result according to the observation error and prediction error (step S102 in FIG. 7). If the observation error and prediction error are small, priority is given to the observation result. If the observation error and prediction error are large, priority is given to the prediction result from the past state variables.
  • the amount of rotation and the amount of translation calculated by the Kalman filter 50 are correction values for the amount of rotation and the amount of translation from the cluster at time t-1 to the cluster at time t.
  • time t For the cluster (time t), using the observed value (translation amount, rotation amount) at time t, return the cluster (time t) to the state equivalent to one time before, then time t A corrected cluster (time t) is generated by reflecting the Kalman filter result (translation amount, rotation amount) of . It should be noted that although the description is divided into two steps here, it is also possible to combine them into one step.
  • the state of the cluster (position, translation amount, rotation amount) is updated every time.
  • the clusters at time t and time t+1 are used for processing.
  • the cluster at time t at that time uses the corrected cluster.
  • Historical data always use corrected results.
  • the target of motion detection by the information processing apparatus 1 according to the first embodiment is not limited to a person, and can be any moving object.
  • it is difficult to calculate the amount of rotation of a spherical object because the amount of translation and the amount of rotation are calculated for the object as a collection of normal distributions (ellipse in two dimensions, ellipsoid in three dimensions). .
  • Examples of use cases of motion detection by the information processing apparatus 1 according to the first embodiment are as follows. 1. 3D tracking of objects such as people (Fig. 3), objects, etc. The near-future position is calculated from the motion amount estimation results and used for obstacle avoidance. 2. Crowd Estimation In FIG. 3, the object is divided into a plurality of clusters, but it is also possible to calculate the amount of translation and the amount of rotation without dividing, for example, a person or thing itself as one cluster. Also in this case, 1. Similarly, it can be used for obstacle avoidance and the like.
  • (Crowd flow estimation) 9 to 11 show an example of clustering processing when crowd flow estimation is performed in the information processing apparatus 1 according to the first embodiment.
  • the elements in order to calculate the amount of translation for each cluster group, the elements (persons and vehicles themselves) that make up the cluster group are treated as one cluster. It may be regarded as a crowd flow estimation.
  • the cluster group itself as one cluster and use it for crowd flow estimation without clustering for each component.
  • the amount of translation may be calculated using only clusters within a predetermined radius from the center-of-gravity positions Pt ⁇ 1 and Pt. Since not all constituent elements of the cluster group move at exactly the same speed, spatial filtering may be used to stabilize the estimation results.
  • the cluster dividing method may be switched depending on the shape of the object.
  • FIG. 12 shows an example of clustering processing in the information processing device 1 according to the first embodiment.
  • the information processing device 1 expresses the shape of an object using, for example, a normal distribution (an ellipse for two dimensions, and a set of elliptical spheres for three dimensions). Therefore, if the shape can be regarded as an elliptical sphere, one cluster is sufficient as shown in FIG. 12(A). It is necessary to increase the number of clusters accordingly. By increasing the number of clusters that make up the object, the distribution of each part (cluster) is reduced (the ambiguity of the shape is reduced), and the rotation accuracy can be improved. If the accuracy of the amount of rotation is not required, motion detection can be performed using one cluster. It is also possible to construct a system that adaptively changes the number of clusters according to the required accuracy according to the situation.
  • clustering may be performed so that the shape of the portion that is the key for calculating the amount of translation and the amount of rotation of the object remains.
  • 13 to 19 show an example of clustering processing according to the type of object in the information processing apparatus 1 according to the first embodiment.
  • 13 to 18 show an example of clustering processing for a single object.
  • FIG. 19 shows an example of clustering processing when a plurality of objects (composite objects) are included.
  • FIG. 13 shows an example of clustering processing when obtaining the translation amount and rotation amount of a person.
  • clustering is performed so that the shape of the body remains.
  • clustering is performed so that, for example, the shapes of the head, arms (number of arms), and legs (number of arms) remain.
  • FIG. 14 shows an example of clustering processing when obtaining the amount of translation and the amount of rotation of a paper airplane.
  • clustering is performed so that the shape of the top surface and bottom surface of the paper airplane remains.
  • FIG. 15 shows an example of clustering processing when obtaining the translation amount and rotation amount of a human-like robot.
  • clustering is performed so that, for example, the body, head, arms (as many as the number), and wheel shapes remain.
  • FIG. 16 shows an example of clustering processing when determining the amount of translation and the amount of rotation of drum sticks. In this case, for example, sticks are made into one cluster.
  • FIG. 17 shows an example of clustering processing when obtaining the amount of translation and the amount of rotation of insects and animals.
  • clustering is performed so that the shapes of the body, head, arms (as many as the number), and legs (as many as the number) remain.
  • FIG. 18 shows an example of clustering processing when determining the amount of translation and rotation of a vehicle.
  • clustering is performed so that the shapes of the vehicle body and tires (as many as the number) remain.
  • FIG. 19 shows an example of clustering processing for determining the amount of translation and the amount of rotation in FIG. 19(A) when a person and a bicycle are included as composite objects.
  • clustering may be performed with priority given to leaving the body shape of a person.
  • clustering may be performed so that the shape of the person's head, arms (as many as the number), and legs (as many as the number) and the bicycle as a whole remain.
  • FIG. 19C for example, clustering may be performed with priority given to leaving the shape of a bicycle. In this case, clustering may be performed so that the shape of the entire person remains.
  • both people and bicycles can be clustered so that their shapes remain.
  • the positional relationship between the bicycle and the person changes depending on whether the person is standing or the posture of the person, it is better to calculate the amount of translation and rotation based on only one of the person and the bicycle if stability is desired. .
  • the object at time t-1 (past) is defined as the first object
  • the object at time t (current) is defined as the second object
  • motion detection is performed for the object at time t-1
  • An example of calculating the amount of translation and the amount of rotation for the object has been described.
  • the first object may be used as a reference object for the second object, and the amount of translation and the amount of rotation from the reference object may be calculated.
  • FIG. 20 shows an overview of the motion detection method by the information processing device 1 according to the modification of the first embodiment.
  • segmentation (FIG. 20(A)) is performed on the point of interest of the object, a reference cluster ((C) in FIG. 20) is prepared for the segmented point of interest, and the reference cluster and the actual cluster (FIG. 20 (B)) (FIG. 20(D)).
  • Data on the amount of rotation and the amount of translation thus calculated may be stored in a recording medium or the like as data on the deviation from the reference.
  • FIG. 21 is a flowchart showing an example of the flow of motion detection processing operations in the information processing apparatus 1 according to the modification of the first embodiment.
  • step S17 the information processing apparatus 1 inputs reference cluster information stored in a recording medium or the like, and calculates the amount of rotation and the amount of translation of the object whose motion is to be detected based on the information of the reference cluster. . After that, the information processing apparatus 1 saves the data of the difference from the reference in a recording medium or the like (step S20).
  • FIG. 22 shows a configuration example of an information processing device 1A according to the second embodiment of the present disclosure.
  • An information processing device 1A according to the second embodiment includes an object classifier 22A instead of the object detection unit 22 in the configuration of the information processing device 1 according to the first embodiment. Further, the information processing apparatus 1A further includes a frame interpolation section 29 between the coordinate system conversion section 24 and the segmentation processing section 25 in addition to the configuration of the information processing apparatus 1 .
  • the object classifier 22A classifies various object types as shown in FIGS. 13 to 19, for example.
  • the object classifier 22A classifies the types of objects to achieve this.
  • the information processing device 1A it is conceivable that a difference in frame rate occurs between the sensor 11 for clustering and the sensor 12 for object detection. Moreover, it is conceivable that a difference in processing rate may occur between the clustering processing by the clustering processing unit 21 and the object detection processing by the object classifier 22A.
  • the frame interpolation unit 29 interpolates the frame rate or performs frame thinning processing in order to absorb such differences in frame rate and processing rate.
  • the present technology can also have the following configuration.
  • each of the three-dimensional point cloud data of the first object and the three-dimensional point cloud data of the second object is clustered into at least one cluster. Then, the amount of translation and the amount of rotation of the second object with respect to the first object are calculated by performing three-dimensional alignment processing between the cluster of the first object and the cluster of the second object. This makes it possible to achieve both accuracy of motion detection and processing speed.
  • a clustering processing unit that clusters each of the three-dimensional point cloud data of the first object and the three-dimensional point cloud data of the second object into at least one cluster; a position information calculation unit that calculates position information of the point cloud data for each of the clusters for each of the first object and the second object; three-dimensional alignment processing of the cluster of the first object and the cluster of the second object based on the position information of the first object and the position information of the second object; and a movement amount calculation unit that calculates the amount of translation and the amount of rotation of the second object with respect to the first object by performing the above.
  • the position information includes information on an average position and a covariance matrix of the point cloud data.
  • the movement amount calculation unit calculates the cluster of the first object and the cluster of the second object.
  • the information processing apparatus according to (1) or (2) above which performs the three-dimensional alignment process with the above.
  • the reference position is a barycentric position, an average position, or a central position of point cloud data of each of the first object and the second object.
  • the position information calculation unit regards the distribution of the point group included in the cluster of each of the first object and the second object as a predetermined distribution or a predetermined shape, and calculates the average position and the covariance matrix The information processing apparatus according to (2) above.
  • the three-dimensional alignment processing is alignment processing based on GICP (Generalized Iterative Closest Point).
  • the information processing apparatus according to any one of (1) to (5) above.
  • the movement amount calculation unit calculates a rough translation amount of the second object with respect to the first object based on respective reference positions of the first object and the second object, and calculates the rough translation amount and
  • the information processing apparatus according to any one of (1) to (6) above, wherein the translation amount calculated by performing the three-dimensional alignment process is added to calculate a final translation amount.
  • the movement amount calculation unit performs temporal smoothing processing on the translation amount and the rotation amount based on the calculated translation amount and the rotation amount and the position information of the second object.
  • the information processing apparatus according to any one of (1) to (7).
  • the information processing apparatus (9) The information processing apparatus according to (8), wherein the movement amount calculation unit performs smoothing processing using a Kalman filter as the temporal smoothing processing.
  • the clustering processing unit changes at least one of the number of clusters to be generated and the range of clusters to be generated based on the types of each of the first object and the second object.
  • the information processing apparatus according to any one of the above.
  • (11) The information processing apparatus according to (10) above, further comprising an object classifier that classifies types of each of the first object and the second object.
  • the information processing apparatus according to any one of (1) to (11) above, wherein the first object is a reference object for the second object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本開示の情報処理装置は、第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングするクラスタリング処理部と、第１のオブジェクトおよび第２のオブジェクトのそれぞれについて、クラスタごとに点群データの位置情報を算出する位置情報算出部と、第１のオブジェクトの位置情報と第２のオブジェクトの位置情報とに基づいて、第１のオブジェクトのクラスタと第２のオブジェクトのクラスタとの３次元的な位置合わせ処理を行うことによって、第２のオブジェクトの第１のオブジェクトに対する並進量および回転量を算出する移動量算出部とを備える。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、物体の動き検出を行う情報処理装置、情報処理方法およびプログラムに関する。
　物体の動き検出を行う技術が種々、開発されている（例えば特許文献１参照）。例えば測距センサから取得した３次元的な点群データを用いたオブジェクトの３次元的な動き推定を行う手法として、様々な３次元レジストレーション（位置合わせ）を用いる手法がある。
特開２０１９－２１０６０号公報
　３次元的な点群データを用いて３次元レジストレーションにより動き検出の処理を行う場合、精度と処理速度の両立が困難である。
　動き検出の精度と処理速度とを両立させることが可能な情報処理装置、情報処理方法およびプログラムを提供することが望ましい。
　本開示の一実施の形態に係る情報処理装置は、第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングするクラスタリング処理部と、第１のオブジェクトおよび第２のオブジェクトのそれぞれについて、クラスタごとに点群データの位置情報を算出する位置情報算出部と、第１のオブジェクトの位置情報と第２のオブジェクトの位置情報とに基づいて、第１のオブジェクトのクラスタと第２のオブジェクトのクラスタとの３次元的な位置合わせ処理を行うことによって、第２のオブジェクトの第１のオブジェクトに対する並進量および回転量を算出する移動量算出部とを備える。
　本開示の一実施の形態に係る情報処理方法は、第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングすることと、第１のオブジェクトおよび第２のオブジェクトのそれぞれについて、クラスタごとに点群データの位置情報を算出することと、第１のオブジェクトの位置情報と第２のオブジェクトの位置情報とに基づいて、第１のオブジェクトのクラスタと第２のオブジェクトのクラスタとの３次元的な位置合わせ処理を行うことによって、第２のオブジェクトの第１のオブジェクトに対する並進量および回転量を算出することとを含む。
　本開示の一実施の形態に係るプログラムは、第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングすることと、第１のオブジェクトおよび第２のオブジェクトのそれぞれについて、クラスタごとに点群データの位置情報を算出することと、第１のオブジェクトの位置情報と第２のオブジェクトの位置情報とに基づいて、第１のオブジェクトのクラスタと第２のオブジェクトのクラスタとの３次元的な位置合わせ処理を行うことによって、第２のオブジェクトの第１のオブジェクトに対する並進量および回転量を算出することとを含む処理をコンピュータに実行させる。
　本開示の一実施の形態に係る情報処理装置、情報処理方法またはプログラムでは、第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングする。そして、第１のオブジェクトのクラスタと第２のオブジェクトのクラスタとの３次元的な位置合わせ処理を行うことによって、第２のオブジェクトの第１のオブジェクトに対する並進量および回転量を算出する。
比較例に係る動き検出の手法の概要を示す説明図である。 本開示の第１の実施の形態に係る情報処理装置、および情報処理方法による動き検出の手法の概要を示す説明図である。 第１の実施の形態に係る情報処理装置の一構成例を示すブロック図である。 第１の実施の形態に係る情報処理装置における移動量・回転量算出部の一構成例を示すブロック図である。 第１の実施の形態に係る情報処理装置における動き検出の処理動作の流れの一例を示すフローチャートである。 第１の実施の形態に係る情報処理装置におけるカルマンフィルタを用いた時間平滑化処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置におけるカルマンフィルタを用いた時間平滑化処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置におけるカルマンフィルタを用いた時間平滑化処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置において群流推定を行う場合のクラスタリング処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置において群流推定を行う場合のクラスタリング処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置において群流推定を行う場合のクラスタリング処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置におけるクラスタリング処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置におけるオブジェクトの種類に応じたクラスタリング処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置におけるオブジェクトの種類に応じたクラスタリング処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置におけるオブジェクトの種類に応じたクラスタリング処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置におけるオブジェクトの種類に応じたクラスタリング処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置におけるオブジェクトの種類に応じたクラスタリング処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置におけるオブジェクトの種類に応じたクラスタリング処理の一例を示す説明図である。 第１の実施の形態に係る情報処理装置におけるオブジェクトの種類に応じたクラスタリング処理の一例を示す説明図である。 第１の実施の形態の変形例に係る情報処理装置による動き検出の手法の概要を示す説明図である。 第１の実施の形態の変形例に係る情報処理装置における動き検出の処理動作の流れの一例を示すフローチャートである。 第２の実施の形態に係る情報処理装置の一構成例を示すブロック図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（図１～図２１）
　　１．０　概要
　　１．１　構成
　　１．２　動作
　　１．３　変形例
　　１．４　効果
　２．第２の実施の形態（図２２）
　３．その他の実施の形態
 
＜１．第１の実施の形態＞
［１．０　概要］
（比較例）
　図１は、比較例に係る動き検出の手法の概要を示している。
　図１には、オブジェクトの３次元的な点群データを１つのクラスタの正規分布で表すことによって動き検出を行う手法の例を示している。
　ここでは、図１（Ａ）に示したように、同一のオブジェクトについて、時刻ｔ－１（過去）のオブジェクトを第１のオブジェクト、時刻ｔ（現在）のオブジェクトを第２のオブジェクトとする。また、動き検出として、時刻ｔのオブジェクトの時刻ｔ－１のオブジェクトに対する並進量および回転量を算出するものとする。
　比較例に係る動き検出の手法では、時刻ｔのオブジェクトの３次元的な点群データおよび時刻ｔ－１のオブジェクトの３次元的な点群データのそれぞれを、１つのクラスタにクラスタリングする。また、時刻ｔのオブジェクトの３次元的な点群データおよび時刻ｔ－１のオブジェクトの３次元的な点群データのそれぞれについて、位置情報として、平均位置（μｔ－１，μｔ）と共分散行列（Σｔ－１，Σｔ）とを算出する（図１（Ｂ））。次に、時刻ｔのオブジェクトの３次元的な点群データおよび時刻ｔ－１のオブジェクトの３次元的な点群データのそれぞれについて、固有値分解（Σｔ－１＝Ｒｔ－１Ｄｔ－１Ｒｔ－１ Ｔ，Σｔ＝ＲｔＤｔＲｔ Ｔ）を行う（図１（Ｃ））。次に、時刻ｔのオブジェクトの時刻ｔ－１のオブジェクトに対する並進量（Ｔ＝μｔ－μｔ－１）および回転量（Ｒ＝ＲｔＲｔ－１ Ｔ）を算出する（図１（Ｄ））。
　比較例に係る動き検出の手法では、精度と処理速度とを両立することが困難である。処理速度を考えると、データ量の削減と組み合わせた手法がよいと考えられる。並進量だけであれば、オブジェクトの重心位置を算出しその重心位置の差分で、多くの場合推定可能となる（点の差分で算出可能）。しかしながら、回転量も含めて算出する場合、点では情報が足りず、どう情報量を維持しつつ回転量を含めた動き推定を行うかが課題となる。
（第１の実施の形態における動き検出の手法）
　図２は、本開示の第１の実施の形態に係る情報処理装置、および情報処理方法による動き検出の手法の概要を示している。
　ここでは、図２（Ａ）に示したように、同一のオブジェクトについて、時刻ｔ－１（過去）のオブジェクトを第１のオブジェクト、時刻ｔ（現在）のオブジェクトを第２のオブジェクトとする。すなわち、第２のオブジェクトは、第１のオブジェクトに対して所定の時間だけ経過後のオブジェクトである。また、動き検出として、時刻ｔのオブジェクトの時刻ｔ－１のオブジェクトに対する並進量および回転量を算出する。
　第１の実施の形態における動き検出の手法では、以下の処理手順を含む。
（処理１）時刻ｔのオブジェクトの３次元的な点群データおよび時刻ｔ－１のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つ（Ｎ個）のクラスタにクラスタリングする（図２（Ａ））。
（処理２）時刻ｔのオブジェクト内の全点群および時刻ｔ－１のオブジェクト内の全点群の各基準位置（例えば重心位置Ｐｔ，Ｐｔ－１）（１個）を算出する（図２（Ａ））。なお、基準位置は、重心位置に限らず、中心に近い位置となればよく、平均位置でも、メディアン（中央位置）でもよい。
（処理３）時刻ｔのオブジェクトおよび時刻ｔ－１のオブジェクトのそれぞれの各クラスタ内の点群の分布を所定の分布（例えば正規分布）とみなし、各クラスタごとに点群データの位置情報として、平均位置（Ｎ個）および共分散行列（Ｎ個）を算出する（図２（Ａ））。
（処理４）処理２による時刻ｔ－１のオブジェクトの重心位置Ｐｔ－１の算出結果と、処理２による時刻ｔのオブジェクトの重心位置Ｐｔの算出結果とから大まかな（粗い）並進量Ｔｃを算出する（図２（Ａ），（Ｂ））。
（処理５）各重心位置Ｐｔ－１，Ｐｔが所定の原点Ｐ０となるよう、処理３による時刻ｔ－１および時刻ｔの平均位置（Ｎ個）および共分散行列（Ｎ個）の算出結果（平均Ｎ個）から処理２による各重心位置Ｐｔ－１，Ｐｔの算出結果を減算する（図２（Ｂ），（Ｃ））。
（処理６）時刻ｔ－１の処理５の結果と時刻ｔの処理５の結果とから、時刻ｔのオブジェクトのクラスタと時刻ｔ－１のオブジェクトのクラスタとのＧＩＣＰ（Generalized Iterative Closest Point）に基づく３次元的な位置合わせ処理を行い、より正確な並進量Ｔｆおよび回転量Ｒｆを算出する。
（処理７）並進量については、Ｔｃ＋Ｔｆを最終的な並進量として出力する。
　以上の処理手順を含むことにより、第１の実施の形態における動き検出の手法では、使用するデータ量が圧縮され、処理速度が向上する（処理１，処理３）。また、分布情報を保持する（処理３）ことにより、精度が向上する。また、大まかに並進量を算出（処理２，処理４）した後に、詳細な並進量および回転量を算出する（処理５，処理６，処理７）ことにより、精度が向上する。
　なお、処理３、処理６では例えば正規分布を仮定して処理を行っているが、当然、形状が表現できていればよく、他の所定の分布（例えば一様分布）や、所定の形状（幾何図形（例えば多角形））などを仮定した処理に置き換えてもよい。
　また、セグメンテーション後、オブジェクトをさらにパーツごとに分割し、それぞれ正規分布を取ることでより正確な並進量、および回転量を算出するようにしてもよい。
　さらに、算出した並進量および回転量と時刻ｔのオブジェクトの位置情報とに基づいて、並進量および回転量に対して時間的な平滑化処理を行うようにしてもよい。例えば、時間的な平滑化処理としてカルマンフィルタを用いた平滑化処理を行うようにしてもよい。　
　また、処理５、および処理６において、各重心位置Ｐｔ－１，Ｐｔを原点Ｐ０となるように位置合わせした後、ＧＩＣＰに基づく３次元的な位置合わせ処理を行うことにより、座標位置によらず、並進量および回転量を算出することが可能となる。また、一般的なＧＩＣＰに対しての修正を行い、クラスタ内の分散も考慮して位置合わせすることで算出精度が向上する。
　既存のＧＩＣＰでは、ＩＣＰに使用する全点群に対して近傍数点から共分散行列を算出し、その共分散行列を平面と近似することによって、計算時間の短縮、計算収束性を高めている。点群の場合はこれでよいが、第１の実施の形態における動き検出の手法では、近傍数点ではなく、より広くクラスタリングを実施する場合、情報量が減る分、並進量、および回転量の算出精度が落ちる。そこで、第１の実施の形態における動き検出の手法では、平面近似を行わず、クラスタの分散をそのまま使用することで、より位置合わせを正確に行えるようにしている。これにより、よりオブジェクトの実際の形状にあった、並進量、および回転量の算出が可能となる。
［１．１　構成］
　図３は、第１の実施の形態に係る情報処理装置１の一構成例を示している。
　図３に示した情報処理装置１は、例えば移動機構４２を備えた移動体に適用される。移動体は、駆動制御部４１、移動機構４２、移動センサ４３を備えている。また、移動体は、センサ１１、センサ１２、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）１３、およびＧＮＳＳ（Global Navigation Satellite System：全地球衛星測位システム）１４を備えている。情報処理装置１には、センサ１１、センサ１２、慣性計測装置１３、およびＧＮＳＳ１４から各種のデータが入力される。
　情報処理装置１は、クラスタリング処理部２１と、オブジェクト検出部２２と、座標系変換部２３と、座標系変換部２４と、セグメンテーション処理部２５と、非オブジェクト用処理部２６と、行動計画部２７と、自己位置推定部２８と、移動量・回転量算出部３０とを備えている。
　センサ１１は、クラスタリングに用いられる点群データを出力する。センサ１２は、オブジェクトの検出に用いられる画像データを出力する。
　センサ１１は、例えば測域センサである。具体的には、センサ１１は、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）、Ｒａｄａｒ（RAdio Detection And Ranging）であってもよい。また、センサ１１は、ＴｏＦ（Time of Flight）カメラやステレオカメラ等の距離画像カメラであってもよい。また、センサ１１は、カラー画像（ＲＧＢ）に加えて奥行き画像（Ｄｅｐｔｈ）を取得可能なＲＧＢ－Ｄカメラであってもよい。
　センサ１２は、例えば画像カメラ（ＲＧＢカメラ、白黒カメラ等）や測域センサであってもよい。
　クラスタリング処理部２１は、センサ１１からの点群データに基づいて、クラスタリング処理を行い、少なくとも１つのクラスタを含むクラスタ群のデータを生成する。クラスタリング処理部２１は、オブジェクトの種類に基づいて、クラスタの生成数およびクラスタの生成範囲の少なくとも一方を変更するようにしてもよい（後述の図１２～図１９参照）。
　オブジェクト検出部２２は、センサ１２からの画像データに基づいて、オブジェクトの検出処理を行う。オブジェクト検出部２２は、例えばＣＮＮ（Convolutional Neural Network）やＤＮＮ（Deep Neural Network）によるオブジェクト検出を行ってもよい。また、オブジェクト検出部２２は、幾何形状の組み合わせによる検出、例えば、オブジェクトとして人の検出を行うのであれば、球（頭）、棒（胴体）の幾何形状があり、その大きさの比率が一般的な人のそれと同じで、かつ、その形状がつながっていれば、人と判定する処理を行ってもよい。また、オブジェクト検出部２２は、パターンマッチングによるオブジェクト検出を行ってもよい。例えば、オブジェクトのテンプレートを用意し、そのテンプレートとマッチしたものをオブジェクトと判定するようにしてもよい。
　なお、図３ではクラスタリング処理とオブジェクト検出とで、別々のセンサからの出力データを用いる例を示しているが、クラスタリング処理とオブジェクト検出とで、１つのセンサを共用するようにしてもよい。この場合、クラスタリング処理部２１とオブジェクト検出部２２とに入力されるデータは同じものなので、入力されるデータに番号付けをしておき、オブジェクト検出によってオブジェクトと判定されたデータを含むクラスタをオブジェクトのクラスタと判定するようにしてもよい。例えば、測域センサで取得した点群データをクラスタリング処理とオブジェクト検出との両処理で使用する場合は、点群データに番号を付けておき、オブジェクト検出でオブジェクトと判定された点群を含むクラスタをオブジェクトと判定するようにしてもよい。
　クラスタリング処理とオブジェクト検出とで別々のセンサからの出力データを用いる場合と１つのセンサからの出力データを共用する場合とのいずれであっても、オブジェクト検出部２２で検出した領域に存在するクラスタをオブジェクトのクラスタと判定してもよい。オブジェクト検出部２２によるオブジェクトの検出領域については、形状内で定義する方法、例えば、ｂｏｕｎｄｉｎｘ　ｂｏｘを用いる方法がある。また、確率分布で定義し、確率が閾値以上のところをオブジェクト領域と判定する方法などが考えられる。
　自己位置推定部２８は、慣性計測装置１３からの慣性計測データ、およびＧＮＳＳ１４からの測位データと移動センサ４３からの自機体移動量の情報とに基づいて、自己位置・姿勢を推定する。
　座標系変換部２３は、クラスタリング処理部２１からのクラスタ群のデータに対してセンサ座標と地図座標との座標変換を行う。また、座標系変換部２３は、自己位置推定部２８からの自己位置・姿勢のデータに対してセンサ座標と地図座標との座標変換を行う。
　座標系変換部２４は、クラスタリング処理部２１からのオブジェクトのデータに対してセンサ座標と地図座標との座標変換を行う。また、座標系変換部２４は、自己位置推定部２８からの自己位置・姿勢のデータに対してセンサ座標と地図座標との座標変換を行う。
　セグメンテーション処理部２５は、クラスタ群のデータに対してオブジェクトと非オブジェクト（背景等）とのセグメンテーションを行う。
　非オブジェクト用処理部２６は、非オブジェクトのクラスタ群のデータに対して所定の処理を行う。
　移動量・回転量算出部３０は、オブジェクトのクラスタ群のデータに基づいてオブジェクトの並進量および回転量を算出する処理を行う。
　行動計画部２７は、非オブジェクト用処理部２６および移動量・回転量算出部３０の処理結果と自己位置推定部２８からの自己位置・姿勢の情報とに基づいて、移動体の行動計画を行い、機体指示を駆動制御部４１に出力する。
　なお、情報処理装置１は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有するマイクロコンピュータによって構成されてもよい。この場合、情報処理装置１による処理は、ＲＯＭまたはＲＡＭに記憶されたプログラムに基づく処理をＣＰＵが実行することで実現し得る。また、情報処理装置１による処理は、例えば有線または無線によるネットワークにより外部から供給されたプログラムに基づく処理をＣＰＵが実行することで実現してもよい。
　図４は、第１の実施の形態に係る情報処理装置１における移動量・回転量算出部３０の一構成例を示している。
　移動量・回転量算出部３０は、オブジェクト重心位置算出部３１と、オブジェクト重心位置合わせ部３２と、回転量・並進量算出部３３と、時間平滑化部３４とを有している。
　移動量・回転量算出部３０は、本開示の技術における「移動量算出部」の一具体例に相当する。オブジェクト重心位置算出部３１は、本開示の技術における「位置情報算出部」の一具体例に相当する。
　オブジェクト重心位置算出部３１は、上述の処理２～処理４の処理を行う。
　オブジェクト重心位置合わせ部３２は、上述の処理５の処理を行う。
　回転量・並進量算出部３３は、上述の処理６および処理７の処理を行う。
　時間平滑化部３４は、回転量・並進量算出部３３によって算出された並進量および回転量に対して時間的な平滑化処理を行う。時間平滑化部３４は、例えば、時間的な平滑化処理としてカルマンフィルタを用いた平滑化処理を行う。
［１．２　動作］
　図５は、第１の実施の形態に係る情報処理装置１における動き検出の処理動作の流れの一例を示すフローチャートである。
　まず、情報処理装置１に、センサ１１からの点群データおよびセンサ１２からの画像データが入力される（ステップＳ１１）。次に、情報処理装置１は、点群データに対してクラスタリング処理および座標変換処理を行い、クラスタ群のデータを生成する（ステップＳ１２）。次に、情報処理装置１は、クラスタ群のデータに対してオブジェクトと非オブジェクト（背景等）とのセグメンテーションを行う（ステップＳ１３）
　次に、情報処理装置１は、クラスタ群が動き検出の対象となるオブジェクトであるか否かを判断する（ステップＳ１４）。動き検出の対象となるオブジェクトでは無いと判断した場合（ステップＳ１４；Ｎ）には、情報処理装置１は、動き検出の対象からは除外する。
　一方、クラスタ群が動き検出の対象となるオブジェクトであると判断した場合（ステップＳ１４；Ｙ）には、情報処理装置１は、オブジェクトの重心位置を算出する（ステップＳ１５）。次に、情報処理装置１は、粗い並進量Ｔｃを算出する。次に、情報処理装置１は、重心位置の位置合わせを行う（ステップＳ１６）。次に、情報処理装置１は、より正確な並進量Ｔｆおよび回転量Ｒｆを算出する（ステップＳ１７）。並進量については、Ｔｃ＋Ｔｆを最終的な並進量とする。次に、情報処理装置１は、時間平滑化部３４において時間的な平滑化処理を行う（ステップＳ１８）。
　ここで、時間平滑化部３４による時間的な平滑化処理を行う場合には、適宜、ステップＳ１６の処理に戻る。次に、時間平滑化部３４による時間的な平滑化処理の一例として、カルマンフィルタを用いた時間平滑化処理の例を説明する。
　図６ないし図８は、第１の実施の形態に係る情報処理装置１におけるカルマンフィルタを用いた時間平滑化処理の一例を示している。
　カルマンフィルタを用いた時間平滑化処理は、以下の処理を含む。
（１）観測：状態変数をカルマンフィルタ５０（図７）に入力する。ここでは、状態変数は、位置、並進量、および回転量とする（図６、図７）。観測時の誤差は常にあるものとし、その誤差（分散）は既知とする。
（２）予測：１時刻前（時刻ｔ－１）のカルマンフィルタ結果（図７のステップＳ１０３）の状態変数から現時刻（時刻ｔ）の状態変数を予測する（図７のステップＳ１００，Ｓ１０１）。予測時に誤差は常にあるものとし、その誤差（分散）は既知とする。
（３）補正：観測誤差、予測誤差に応じて予測結果が観測結果に近くなるように補正する（図７のステップＳ１０２）。観測誤差、予測誤差が小さければ、観測結果を優先する。観測誤差、予測誤差が大きければ、過去の状態変数からの予測結果を優先する。
　カルマンフィルタ５０で算出した回転量および並進量は、時刻ｔ－１のクラスタから時刻ｔのクラスタまでの回転量、並進量の補正値となる。
（カルマンフィルタ５０によるクラスタの補正について）
　動いているオブジェクトの場合、時々刻々とオブジェクトの形状が変わる。さらにいえば、クラスタの形状が変わる。そのため、その形状変化に対応するために、時刻ｔ－１（１時刻前）のクラスタに対して、カルマンフィルタ結果（並進量、回転量）を反映するのではなく、時刻ｔ（現時刻）のクラスタに対して、カルマンフィルタ結果（並進量、回転量）を反映する（図８のステップＳ２００，Ｓ２０１，Ｓ２０３）。
　具体的に書くと、クラスタ（時刻ｔ）に対して、時刻ｔの観測値（並進量、回転量）を使って、クラスタ（時刻ｔ）を１時刻前相当の状態に戻し、それから、時刻ｔのカルマンフィルタ結果（並進量、回転量）を反映することで補正後クラスタ（時刻ｔ）を生成する。なお、ここでは２つのステップに分けて説明したが、１つのステップにまとめることも可能である。
　このようにして、毎時刻、クラスタの状態（位置、並進量、回転量）を更新していく。時刻ｔ＋１では、時刻ｔと時刻ｔ＋１のクラスタを使って処理する。そのときの時刻ｔのクラスタは補正後クラスタを使う。過去のデータは常に補正後の結果を使用する。
（オブジェクトとして想定している物体）
　第１の実施の形態に係る情報処理装置１による動き検出のターゲットは、人に限らず移動物体すべてがターゲットとなり得る。ただし、オブジェクトを例えば正規分布（２次元でいうと楕円、３次元でいうと楕円球）の集まりとして、並進量、および回転量を算出するため、球形のオブジェクトの回転量の算出は困難である。しかしながら、この後説明するユースケースにおいて、球形のオブジェクトの回転量が求められないことによるデメリットは全くない。
（ユースケース例）
　第１の実施の形態に係る情報処理装置１による動き検出のユースケースは、例えば以下のようなものがある。
１．人（図３）、モノ等のオブジェクトの３Ｄトラッキング
　動き量推定結果から近い未来の位置を算出し、障害物回避などに使用する。
２．群流推定
　図３では、オブジェクトを複数のクラスタに分割したが、分割せず、例えば人、モノ自体を１つのクラスタとして並進量、および回転量を算出することも可能である。この場合にも、１．同様に、障害物回避などに使用可能となる。
（群流推定）
　図９ないし図１１は、第１の実施の形態に係る情報処理装置１において群流推定を行う場合のクラスタリング処理の一例を示している。
　情報処理装置１において、例えば図９（Ａ），（Ｂ）に示したように、クラスタ群単位での並進量の算出として、クラスタ群を構成する要素（人や車自体）を１つのクラスタとみなして、群流推定として使用してもよい。
　また、情報処理装置１において、例えば図１０に示したように、構成要素ごとにクラスタ分けせずに、クラスタ群自体を１つのクラスタとみなして、群流推定として使用することも可能である。
　また、並進量および回転量の時間平滑化の他に、空間フィルタリングと組み合わせることも可能である。例えば、図１１に示したように、重心位置Ｐｔ－１，Ｐｔから、所定の半径内にあるクラスタのみ使用して並進量を算出するようにしてもよい。クラスタ群の全構成要素が全く同じスピードで移動しているとは限らないので、空間フィルタリングを入れることで、推定結果の安定化を図るようにしてもよい。
（オブジェクトの種類ごとのクラスタの設定の仕方や工夫）
　情報処理装置１において、オブジェクトの形状により、クラスタの分割方法を切り替えるようにしてもよい。
　図１２は、第１の実施の形態に係る情報処理装置１におけるクラスタリング処理の一例を示している。
　情報処理装置１では、例えば正規分布（２次元であれば楕円、３次元であれば楕円球の集合）を用いてオブジェクトの形状を表現する。そのため、形状を楕円球としてとらえてよいのであれば、図１２（Ａ）に示したようにクラスタは１つでよいが、より複雑な形状として動き検出を行う場合、図１２（Ｂ）に示したようにクラスタをその分増やす必要がある。オブジェクトを構成するクラスタ数を増やすことにより、各パーツ（クラスタ）の分散が小さくなり（形状の曖昧さが低くなり）、回転精度を高めることができる。回転量の精度を求めないのであれば、１つのクラスタで動き検出を行うことも可能となる。状況に応じて、求める精度によりクラスタ数を適応的に変更するシステムを構築することも可能となる。
（オブジェクトのクラスタ分割例）
　情報処理装置１では、オブジェクトの並進量および回転量の算出のキーとなる部分の形状が残るようにクラスタリングするようにしてもよい。
　図１３ないし図１９は、第１の実施の形態に係る情報処理装置１におけるオブジェクトの種類に応じたクラスタリング処理の一例を示している。図１３ないし図１８は、単体のオブジェクトのクラスタリング処理の一例を示している。図１９は、複数のオブジェクト（複合化されたオブジェクト）を含む場合のクラスタリング処理の一例を示している。
　図１３は、人の並進量および回転量を求める場合のクラスタリング処理の一例を示している。この場合、例えば胴体部分の形状が残るようにクラスタリングする。さらに、例えば頭、腕（本数分）、および足（本数分）の形状が残るようにクラスタリングする。
　図１４は、紙飛行機の並進量および回転量を求める場合のクラスタリング処理の一例を示している。この場合、例えば紙飛行機の上面、および下側面の形状が残るようにクラスタリングする。
　図１５は、人に近い形のロボットの並進量および回転量を求める場合のクラスタリング処理の一例を示している。この場合、例えば胴体と頭、腕（本数分）、および車輪の形状が残るようにクラスタリングする。
　図１６は、太鼓のスティックの並進量および回転量を求める場合のクラスタリング処理の一例を示している。この場合、例えばスティックを１つのクラスタにする。
　図１７は、虫、動物の並進量および回転量を求める場合のクラスタリング処理の一例を示している。この場合、例えば胴体と頭、腕（本数分）、および足（本数分）の形状が残るようにクラスタリングする。
　図１８は、車の並進量および回転量を求める場合のクラスタリング処理の一例を示している。この場合、例えば車体とタイヤ（個数分）の形状が残るようにクラスタリングする。
　図１９は、複合化されたオブジェクトとして人と自転車を含む場合図１９（Ａ）の、並進量および回転量を求める場合のクラスタリング処理の一例を示している。この場合、例えば図１９（Ｂ）に示したように、人の胴体形状を残すことを優先してクラスタリングしてもよい。この場合、さらに、人の頭、腕（本数分）、および足（本数分）と自転車全体の形状が残るようにクラスタリングしてもよい。また、例えば図１９（Ｃ）に示したように、自転車の形状を残すことを優先してクラスタリングしてもよい。この場合、さらに人全体の形状が残るようにクラスタリングしてもよい。
　このように、人も自転車も形状が残るようにクラスタリングしてもよい。ただ、立ちこぎしたり、人の姿勢によって、自転車と人の位置関係が変わるので、安定性を求めるのであれば人と自転車の一方のみを基準として、並進量および回転量を算出する方がよい。
［１．３　変形例］
　以上では、同一のオブジェクトについて、時刻ｔ－１（過去）のオブジェクトを第１のオブジェクト、時刻ｔ（現在）のオブジェクトを第２のオブジェクトとし、動き検出として、時刻ｔのオブジェクトの時刻ｔ－１のオブジェクトに対する並進量および回転量を算出する例を説明した。このような例に限らず、例えば、第１のオブジェクトを、第２のオブジェクトの基準（リファレンス）となるオブジェクトとし、基準となるオブジェクトからの並進量および回転量を算出するようにしてもよい。
　時刻との差分ではなく、Ｒｅｆｅｒｅｎｃｅとの差分を取ることにより、野球やゴルフのスイングや、ピッチングフォームなどのフォームチェック（リファレンスとの差分チェック）に使用することが可能となる。
　図２０は、第１の実施の形態の変形例に係る情報処理装置１による動き検出の手法の概要を示している。
　例えば、オブジェクトの注目箇所をセグメンテーション（図２０（Ａ））し、そのセグメンテーションされた注目箇所について、リファレンスクラスタ（図２０（Ｃ））を用意しておき、そのリファレンスクラスタと実際のクラスタ（図２０（Ｂ））とを比較する（図２０（Ｄ））。これにより算出した回転量および並進量のデータをリファレンスとのズレのデータとして記録媒体等に保存するようにしてもよい。
　図２１は、第１の実施の形態の変形例に係る情報処理装置１における動き検出の処理動作の流れの一例を示すフローチャートである。
　図２１において、ステップＳ１１～Ｓ１６の処理は図５の処理と同様である。情報処理装置１は、ステップＳ１７では、例えば記録媒体等に保存されたリファレンスクラスタの情報を入力し、リファレンスクラスタの情報に基づいて、動き検出の対象となるオブジェクトの回転量および並進量を算出する。その後、情報処理装置１は、リファレンスとの差分のデータを記録媒体等に保存する（ステップＳ２０）。
［１．４　効果］
　以上説明したように、第１の実施の形態に係る情報処理装置１によれば、動き検出の精度と処理速度とを両立させることが可能となる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．第２の実施の形態＞
　次に、本開示の第２の実施の形態に係る情報処理装置について説明する。なお、以下では、上記第１の実施の形態に係る情報処理装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図２２は、本開示の第２の実施の形態に係る情報処理装置１Ａの一構成例を示している。
　第２の実施の形態に係る情報処理装置１Ａは、第１の実施の形態に係る情報処理装置１の構成に対して、オブジェクト検出部２２に代えてオブジェクト分類器２２Ａを備えている。また、情報処理装置１Ａは、情報処理装置１の構成に対して、座標系変換部２４とセグメンテーション処理部２５との間にフレーム補間部２９をさらに備えている。
　オブジェクト分類器２２Ａは、例えば、図１３ないし図１９に示したような種々のオブジェクトの種類を分類する。
　第１の実施の形態において図１３ないし図１９を用いて説明したように、オブジェクトの種類に応じてクラスタリングの方法を変えることでより正確な並進量および回転量を算出することが可能となる。オブジェクト分類器２２Ａは、それを実現するために、オブジェクトの種類を分類する。
　情報処理装置１Ａにおいて、クラスタリング用のセンサ１１とオブジェクト検出用のセンサ１２とではフレームレートの違いが生ずることが考えられる。また、クラスタリング処理部２１によるクラスタリング処理とオブジェクト分類器２２Ａによるオブジェクトの検出処理では、処理レートの違いが生ずることが考えられる。フレーム補間部２９は、このようなフレームレートや処理レートの違いを吸収するためにフレームレートを補間、あるいはフレーム間引き処理を行う。
　また、センサ１１，１２の解像度の違いに合わせてスケーリング、あるいは間引き処理を追加した構成も考えられる。
　また、センサ１１，１２同士は非同期なことが多いので、その対策としての同期処理を行う回路を追加した構成であってもよい。
　その他の構成、動作および効果は、上記第１の実施の形態に係る情報処理装置１と略同様であってもよい。
＜３．その他の実施の形態＞
　本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングする。そして、第１のオブジェクトのクラスタと第２のオブジェクトのクラスタとの３次元的な位置合わせ処理を行うことによって、第２のオブジェクトの第１のオブジェクトに対する並進量および回転量を算出する。これにより、動き検出の精度と処理速度とを両立させることが可能となる。
（１）
　第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングするクラスタリング処理部と、
　前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれについて、前記クラスタごとに前記点群データの位置情報を算出する位置情報算出部と、
　前記第１のオブジェクトの前記位置情報と前記第２のオブジェクトの前記位置情報とに基づいて、前記第１のオブジェクトの前記クラスタと前記第２のオブジェクトの前記クラスタとの３次元的な位置合わせ処理を行うことによって、前記第２のオブジェクトの前記第１のオブジェクトに対する並進量および回転量を算出する移動量算出部と
　を備える
　情報処理装置。
（２）
　前記位置情報は、前記点群データの平均位置および共分散行列の情報を含む
　上記（１）に記載の情報処理装置。
（３）
　前記移動量算出部は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの基準位置を所定の原点に位置合わせした後、前記第１のオブジェクトの前記クラスタと前記第２のオブジェクトの前記クラスタとの前記３次元的な位置合わせ処理を行う
　上記（１）または（２）に記載の情報処理装置。
（４）
　前記基準位置は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの点群データの重心位置、平均位置、または中央位置である
　上記（３）に記載の情報処理装置。
（５）
　前記位置情報算出部は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの前記クラスタに含まれる点群の分布を所定の分布、または所定の形状とみなして前記平均位置および前記共分散行列を算出する
　上記（２）に記載の情報処理装置。
（６）
　前記３次元的な位置合わせ処理は、ＧＩＣＰ（Generalized Iterative Closest Point）に基づく位置合わせ処理である。
　上記（１）ないし（５）のいずれか１つに記載の情報処理装置。
（７）
　前記移動量算出部は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの基準位置に基づいて前記第２のオブジェクトの前記第１のオブジェクトに対する粗い並進量を算出し、前記粗い並進量と前記３次元的な位置合わせ処理を行うことによって算出された並進量とを合算して最終的な並進量を算出する
　上記（１）ないし（６）のいずれか１つに記載の情報処理装置。
（８）
　前記移動量算出部は、算出した前記並進量および前記回転量と前記第２のオブジェクトの前記位置情報とに基づいて、前記並進量および前記回転量に対して時間的な平滑化処理を行う
　上記（１）ないし（７）のいずれか１つに記載の情報処理装置。
（９）
　前記移動量算出部は、前記時間的な平滑化処理としてカルマンフィルタを用いた平滑化処理を行う
　上記（８）に記載の情報処理装置。
（１０）
　前記クラスタリング処理部は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの種類に基づいて、クラスタの生成数およびクラスタの生成範囲の少なくとも一方を変更する
　上記（１）ないし（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの種類を分類するオブジェクト分類器、をさらに備える
　上記（１０）に記載の情報処理装置。
（１２）
　前記第２のオブジェクトは、前記第１のオブジェクトに対して所定の時間だけ経過後のオブジェクトである
　上記（１）ないし（１１）のいずれか１つに記載の情報処理装置。
（１３）
　前記第１のオブジェクトは、前記第２のオブジェクトの基準となるオブジェクトである
　上記（１）ないし（１１）のいずれか１つに記載の情報処理装置。
（１４）
　第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングすることと、
　前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれについて、前記クラスタごとに前記点群データの位置情報を算出することと、
　前記第１のオブジェクトの前記位置情報と前記第２のオブジェクトの前記位置情報とに基づいて、前記第１のオブジェクトの前記クラスタと前記第２のオブジェクトの前記クラスタとの３次元的な位置合わせ処理を行うことによって、前記第２のオブジェクトの前記第１のオブジェクトに対する並進量および回転量を算出することと
　を含む
　情報処理方法。
（１５）
　第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングすることと、
　前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれについて、前記クラスタごとに前記点群データの位置情報を算出することと、
　前記第１のオブジェクトの前記位置情報と前記第２のオブジェクトの前記位置情報とに基づいて、前記第１のオブジェクトの前記クラスタと前記第２のオブジェクトの前記クラスタとの３次元的な位置合わせ処理を行うことによって、前記第２のオブジェクトの前記第１のオブジェクトに対する並進量および回転量を算出することと
　を含む処理をコンピュータに実行させる
　プログラム。
　本出願は、日本国特許庁において２０２１年２月１７日に出願された日本特許出願番号第２０２１－２３１８０号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (15)

  1. 　第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングするクラスタリング処理部と、
    　前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれについて、前記クラスタごとに前記点群データの位置情報を算出する位置情報算出部と、
    　前記第１のオブジェクトの前記位置情報と前記第２のオブジェクトの前記位置情報とに基づいて、前記第１のオブジェクトの前記クラスタと前記第２のオブジェクトの前記クラスタとの３次元的な位置合わせ処理を行うことによって、前記第２のオブジェクトの前記第１のオブジェクトに対する並進量および回転量を算出する移動量算出部と
    　を備える
    　情報処理装置。
  2. 　前記位置情報は、前記点群データの平均位置および共分散行列の情報を含む
    　請求項１に記載の情報処理装置。
  3. 　前記移動量算出部は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの基準位置を所定の原点に位置合わせした後、前記第１のオブジェクトの前記クラスタと前記第２のオブジェクトの前記クラスタとの前記３次元的な位置合わせ処理を行う
    　請求項１に記載の情報処理装置。
  4. 　前記基準位置は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの点群データの重心位置、平均位置、または中央位置である
    　請求項３に記載の情報処理装置。
  5. 　前記位置情報算出部は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの前記クラスタに含まれる点群の分布を所定の分布、または所定の形状とみなして前記平均位置および前記共分散行列を算出する
    　請求項２に記載の情報処理装置。
  6. 　前記３次元的な位置合わせ処理は、ＧＩＣＰ（Generalized Iterative Closest Point）に基づく位置合わせ処理である。
    　請求項１に記載の情報処理装置。
  7. 　前記移動量算出部は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの基準位置に基づいて前記第２のオブジェクトの前記第１のオブジェクトに対する粗い並進量を算出し、前記粗い並進量と前記３次元的な位置合わせ処理を行うことによって算出された並進量とを合算して最終的な並進量を算出する
    　請求項１に記載の情報処理装置。
  8. 　前記移動量算出部は、算出した前記並進量および前記回転量と前記第２のオブジェクトの前記位置情報とに基づいて、前記並進量および前記回転量に対して時間的な平滑化処理を行う
    　請求項１に記載の情報処理装置。
  9. 　前記移動量算出部は、前記時間的な平滑化処理としてカルマンフィルタを用いた平滑化処理を行う
    　請求項８に記載の情報処理装置。
  10. 　前記クラスタリング処理部は、前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの種類に基づいて、クラスタの生成数およびクラスタの生成範囲の少なくとも一方を変更する
    　請求項１に記載の情報処理装置。
  11. 　前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれの種類を分類するオブジェクト分類器、をさらに備える
    　請求項１０に記載の情報処理装置。
  12. 　前記第２のオブジェクトは、前記第１のオブジェクトに対して所定の時間だけ経過後のオブジェクトである
    　請求項１に記載の情報処理装置。
  13. 　前記第１のオブジェクトは、前記第２のオブジェクトの基準となるオブジェクトである
    　請求項１に記載の情報処理装置。
  14. 　第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングすることと、
    　前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれについて、前記クラスタごとに前記点群データの位置情報を算出することと、
    　前記第１のオブジェクトの前記位置情報と前記第２のオブジェクトの前記位置情報とに基づいて、前記第１のオブジェクトの前記クラスタと前記第２のオブジェクトの前記クラスタとの３次元的な位置合わせ処理を行うことによって、前記第２のオブジェクトの前記第１のオブジェクトに対する並進量および回転量を算出することと
    　を含む
    　情報処理方法。
  15. 　第１のオブジェクトの３次元的な点群データおよび第２のオブジェクトの３次元的な点群データのそれぞれを、少なくとも１つのクラスタにクラスタリングすることと、
    　前記第１のオブジェクトおよび前記第２のオブジェクトのそれぞれについて、前記クラスタごとに前記点群データの位置情報を算出することと、
    　前記第１のオブジェクトの前記位置情報と前記第２のオブジェクトの前記位置情報とに基づいて、前記第１のオブジェクトの前記クラスタと前記第２のオブジェクトの前記クラスタとの３次元的な位置合わせ処理を行うことによって、前記第２のオブジェクトの前記第１のオブジェクトに対する並進量および回転量を算出することと
    　を含む処理をコンピュータに実行させる
    　プログラム。
PCT/JP2022/000803 2021-02-17 2022-01-12 情報処理装置、情報処理方法およびプログラム WO2022176444A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-023180 2021-02-17
JP2021023180 2021-02-17

Publications (1)

Publication Number Publication Date
WO2022176444A1 true WO2022176444A1 (ja) 2022-08-25

Family

ID=82930666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000803 WO2022176444A1 (ja) 2021-02-17 2022-01-12 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2022176444A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001174551A (ja) * 1999-12-21 2001-06-29 Mitsubishi Electric Corp 移動体同定装置
JP2020201863A (ja) * 2019-06-13 2020-12-17 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001174551A (ja) * 1999-12-21 2001-06-29 Mitsubishi Electric Corp 移動体同定装置
JP2020201863A (ja) * 2019-06-13 2020-12-17 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIMADA, TAKESHI; IKEDA, ATSUTOSHI; TAKAMATSU, JUN; OGASAWARA, TSUKASA: "2P1-E02 Recording Hand-Object Relationship During Tasks Using First-Person RGB-D Vision", PROCEEDINGS OF THE 2015 JSME CONFERENCE ON ROBOTICS AND MECHATRONICS; MAY 15-19, 2015, JAPAN SOCIETY OF MECHANICAL ENGINEERS, JP, 16 May 2015 (2015-05-16) - 19 May 2015 (2015-05-19), jp, pages 2P1 - E02, XP009539125 *

Similar Documents

Publication Publication Date Title
CN112292711B (zh) 关联lidar数据和图像数据
CN111126269B (zh) 三维目标检测方法、装置以及存储介质
EP3422042B1 (en) Method to determine the orientation of a target vehicle
US11187790B2 (en) Laser scanning system, laser scanning method, movable laser scanning system, and program
CN113015924B (zh) 基于来自一个或多个位置传感器的测量样本表征对象的装置和方法
US11506502B2 (en) Robust localization
JP2009052940A (ja) 移動物体検出装置および自律移動物体
CN111273312B (zh) 一种智能车辆定位与回环检测方法
Munoz-Banon et al. Targetless camera-lidar calibration in unstructured environments
US11663808B2 (en) Distance estimating device and storage medium storing computer program for distance estimation
US20200206927A1 (en) Relocalization method and robot using the same
Kellner et al. Road curb detection based on different elevation mapping techniques
CN111508025A (zh) 三维位置估计装置以及程序
Dhawale et al. Fast monte-carlo localization on aerial vehicles using approximate continuous belief representations
Angelopoulou et al. Vision-based egomotion estimation on FPGA for unmanned aerial vehicle navigation
Morris et al. A view-dependent adaptive matched filter for ladar-based vehicle tracking
WO2022176444A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6988873B2 (ja) 位置推定装置および位置推定用コンピュータプログラム
Munz et al. A sensor independent probabilistic fusion system for driver assistance systems
Sabry et al. Ground vehicle monocular visual odometry
Cupec et al. Global localization based on 3d planar surface segments
Dichgans et al. Robust Vehicle Tracking with Monocular Vision using Convolutional Neuronal Networks
Vatavu et al. Environment perception using dynamic polylines and particle based occupancy grids
Hu et al. Improved ORB-SLAM2 Mobile Robot Vision Algorithm Based on Multiple Feature Fusion
JP7334489B2 (ja) 位置推定装置及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22755769

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22755769

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP