WO2025154265A1 - 位置推定システム、マップ生成システム、位置推定方法、マップ生成方法及びプログラム - Google Patents
位置推定システム、マップ生成システム、位置推定方法、マップ生成方法及びプログラムInfo
- Publication number
- WO2025154265A1 WO2025154265A1 PCT/JP2024/001470 JP2024001470W WO2025154265A1 WO 2025154265 A1 WO2025154265 A1 WO 2025154265A1 JP 2024001470 W JP2024001470 W JP 2024001470W WO 2025154265 A1 WO2025154265 A1 WO 2025154265A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- point cloud
- map
- moving body
- dimensional shape
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
Definitions
- This disclosure relates to a location estimation system, a map generation system, a location estimation method, a map generation method, and a program.
- Patent Document 1 the position of a moving object is estimated by matching tree trunks with an environmental map.
- Patent Document 1 does not disclose how to deal with such changes in natural objects. Therefore, one of the objectives of this disclosure is to provide a position estimation system that is robust to changes in natural objects.
- a position estimation system includes: A storage means for storing a point cloud map which is a map in which position information and a three-dimensional shape of an object are associated with each other; An acquisition means for acquiring images captured on a moving body and point cloud data representing a three-dimensional shape of an object measured on the moving body; A type determination means for determining the type of natural object shown in the acquired image; a position estimation means for estimating a position of the moving object by collating the acquired point cloud data, excluding point cloud data corresponding to the natural object determined to be a type that changes over time, with the stored point cloud map;
- the position estimation system includes:
- the position estimation system includes:
- a position estimation method includes: Acquiring images captured on a moving body and point cloud data representing a three-dimensional shape of an object measured on the moving body; determining a type of natural object shown in the acquired image; estimating the position of the moving body by collating the acquired point cloud data, excluding point cloud data corresponding to the natural objects determined to be of a type that changes over time, with a pre-stored point cloud map that is a map that associates position information with a three-dimensional shape of an object; A location estimation method.
- a position estimation method includes: Acquire point cloud data representing a three-dimensional shape of an object measured in the moving body; A process of estimating the position of the moving body by comparing the acquired point cloud data with a pre-stored point cloud map, which is a map that associates position information with a three-dimensional shape of an object, and excluding natural objects that are pre-stored as being a type that changes over time from among the natural objects included in the point cloud map, to estimate the position of the moving body.
- a location estimation method is a map that associates position information with a three-dimensional shape of an object, and excluding natural objects that are pre-stored as being a type that changes over time from among the natural objects included in the point cloud map, to estimate the position of the moving body.
- a map generation method includes: Acquiring an image captured by a moving body, point cloud data representing a three-dimensional shape of an object measured by the moving body, and position information of the moving body; determining a type of natural object shown in the acquired image; generating a point cloud map, which is a map associating position information with three-dimensional shapes of objects, based on the acquired point cloud data excluding point cloud data corresponding to the natural objects determined to be of a type that changes over time and the acquired position information; A map generation method.
- a map generating method includes: Acquiring an image captured by a moving body, point cloud data representing a three-dimensional shape of an object measured by the moving body, and position information of the moving body; determining a type of natural object shown in the acquired image; generating a point cloud map that associates position information with a three-dimensional shape of an object based on the acquired point cloud data and the acquired position information; predicting a three-dimensional shape after the change at a specified time point for the natural object determined to be of a type that changes over time, and updating the three-dimensional shape of the natural object included in the point cloud map with the predicted three-dimensional shape after the change; A map generation method.
- a program includes: Acquiring images captured on a moving body and point cloud data representing a three-dimensional shape of an object measured on the moving body; determining a type of natural object shown in the acquired image; estimating the position of the moving body by collating the acquired point cloud data, excluding point cloud data corresponding to the natural objects determined to be of a type that changes over time, with a pre-stored point cloud map that is a map that associates position information with a three-dimensional shape of an object; It is a program that causes an information processing device to execute the above.
- a program includes: Acquire point cloud data representing a three-dimensional shape of an object measured in the moving body; A process of estimating the position of the moving body by comparing the acquired point cloud data with a pre-stored point cloud map, which is a map that associates position information with a three-dimensional shape of an object, and excluding natural objects that are pre-stored as being a type that changes over time from among the natural objects included in the point cloud map, to estimate the position of the moving body. It is a program that causes an information processing device to execute the above.
- a program includes: Acquiring an image captured by a moving body, point cloud data representing a three-dimensional shape of an object measured by the moving body, and position information of the moving body; determining a type of natural object shown in the acquired image; generating a point cloud map, which is a map associating position information with three-dimensional shapes of objects, based on the acquired point cloud data excluding point cloud data corresponding to the natural objects determined to be of a type that changes over time and the acquired position information; It is a program that causes an information processing device to execute the above.
- a program includes: Acquiring an image captured by a moving body, point cloud data representing a three-dimensional shape of an object measured by the moving body, and position information of the moving body; determining a type of natural object shown in the acquired image; generating a point cloud map that associates position information with a three-dimensional shape of an object based on the acquired point cloud data and the acquired position information; predicting a three-dimensional shape after the change at a specified time point for the natural object determined to be of a type that changes over time, and updating the three-dimensional shape of the natural object included in the point cloud map with the predicted three-dimensional shape after the change; It is a program that causes an information processing device to execute the above.
- This disclosure provides a position estimation system that is robust to changes in natural objects.
- FIG. 1 is a block diagram showing a configuration of a position estimation system according to the present disclosure.
- FIG. 11 is a block diagram showing a configuration of another position estimation system according to the present disclosure.
- FIG. 1 is a block diagram showing a configuration of a map generation system according to the present disclosure.
- FIG. 13 is a block diagram showing a configuration of another map generation system according to the present disclosure.
- 1 is a flowchart of a location estimation method according to the present disclosure.
- 4 is a flowchart of another location estimation method according to the present disclosure.
- 1 is a flowchart of a map generation method according to the present disclosure.
- 1 is a flowchart of another map generation method according to the present disclosure.
- FIG. 13 is a diagram showing an example of determining a type of a natural object according to the present disclosure.
- 1 is a block diagram showing a configuration of an information processing device according to the present disclosure.
- Fig. 1 is a block diagram showing a configuration of a position estimation system according to the present disclosure.
- Fig. 9 is a diagram showing an example of determining a type of a natural object according to the present disclosure.
- a configuration example of a position estimation system 100 will be described with reference to Figs. 1 and 9.
- the position estimation system 100 includes a storage unit 101, an acquisition unit 102, a type determination unit 103, and a position estimation unit 104.
- the position estimation system 100 is, for example, a system that captures an image of the surrounding environment and estimates a position based on the captured image.
- the position estimation system 100 is attached to a moving object and estimates the position of the moving object.
- the position estimation system 100 may be executed by an ECU (Electronic Control Unit).
- the position estimation system 100 may also be provided remotely from the moving object and estimate the position of the moving object by electrical communication or the like.
- the position estimation system 100 may be executed by an external cloud server.
- the moving object can estimate its own position while moving using the position estimation system 100.
- An autonomous moving object to which a position estimation system is attached is capable of automatic driving.
- the mobile body is, for example, a bus, a car, or a tractor, which moves outdoors with natural objects in the surrounding environment. If there are natural objects indoors, the mobile body may be a mobile body that moves indoors.
- the mobile body is, for example, an autonomous mobile body equipped with a prime mover or motor and capable of moving autonomously using gasoline or electricity as power.
- the type determination unit 103 determines the type of natural object shown in the acquired image.
- the natural object is, for example, a tree or grass.
- the type of natural object is, for example, a deciduous tree, an evergreen tree, a perennial plant, or an annual plant. Natural objects change appearance according to time changes such as the season. For example, evergreen trees have leaves all year round and their appearance changes little. However, deciduous trees sprout in spring, their leaves become dark green in summer, change color in autumn, and lose their leaves in winter. Therefore, the appearance of deciduous trees changes greatly throughout the year. Also, perennial plants are plants that bloom from the same stump in the following years. Therefore, the area of perennial plants increases over time, and the appearance changes significantly. Annual plants are plants that only grow for one year, sprout in spring, grow in summer, and wither and disappear in autumn or winter. Therefore, the appearance of annual plants changes significantly in one year.
- the location estimation system 100 detects deciduous trees and evergreen trees, for example, as shown in FIG. 9. It also detects perennial grasses.
- the imaging device captures images of the environment around the moving body and detects natural objects.
- the type determination unit 103 determines the type of the detected natural object.
- the position estimation unit 104 estimates the position of the moving body by comparing the acquired point cloud data, excluding point cloud data corresponding to natural objects determined to be a type that changes over time, with a stored point cloud map. Specifically, the position estimation unit 104 compares a previously created point cloud map with the current point cloud map to estimate the position of the moving body. The position estimation unit 104 excludes natural objects determined to be a type that changes over time from the detected natural objects, and compares the current point cloud map with a previously created point cloud map to estimate the position.
- the location is estimated using non-natural objects such as buildings, structures, and walls.
- a tree is classified as evergreen or deciduous, a map is created including the point cloud of that part, and this classification is taken into account when comparing it with the point cloud map. For example, if it is an evergreen tree, there is not much change in the point cloud map, so the currently acquired point cloud map is compared directly with the previously created point cloud map. For example, if it is a deciduous tree, the point cloud map will change, so that part is excluded and the currently acquired point cloud map is compared with the previously created point cloud map.
- the position estimation unit 104 may compare the acquired point cloud map with a point cloud map that has been updated to reflect a prediction of the change over time of the natural object that changes over time.
- the position estimation unit 104 predicts seasonal and yearly changes, updates a point cloud map created in advance, and estimates the position by comparing it with the point cloud map acquired by the currently moving vehicle.
- artificial intelligence AI (Artificial Intelligence)
- machine learning is performed to predict the appearance of thick leaves in advance, and when an image of a tree trunk is input, a point cloud map appropriate for the appearance of the leaves of the plants in that season is output.
- This configuration provides a position estimation system that determines the type of natural object, and estimates the position by excluding the natural object based on the determination or predicting changes in the natural object.
- the storage unit 101, acquisition unit 102, type determination unit 103, and position estimation unit 104 may be read as storage means, acquisition means, type determination means, and position estimation means, respectively.
- FIG. 2 is a block diagram showing a configuration of another position estimation system according to the present disclosure. An example of the configuration of a position estimation system 200 will be described below with reference to FIG.
- FIG. 3 is a block diagram showing a configuration of a map generation system according to the present disclosure. An example of the configuration of the map generation system 300 will be described below with reference to FIG.
- the acquisition unit 301, type determination unit 302, and point cloud map generation unit 303 may be read as an acquisition means, a type determination means, and a point cloud map generation means, respectively.
- (Appendix 14) Acquiring an image captured by a moving body, point cloud data representing a three-dimensional shape of an object measured by the moving body, and position information of the moving body; determining a type of natural object shown in the acquired image; generating a point cloud map, which is a map associating position information with three-dimensional shapes of objects, based on the acquired point cloud data excluding point cloud data corresponding to the natural objects determined to be of a type that changes over time and the acquired position information; Map generation method.
- (Appendix 17) Acquire point cloud data representing a three-dimensional shape of an object measured in the moving body; A process of estimating the position of the moving body by comparing the acquired point cloud data with a pre-stored point cloud map, which is a map that associates position information with a three-dimensional shape of an object, and excluding natural objects that are pre-stored as being a type that changes over time from among the natural objects included in the point cloud map, to estimate the position of the moving body.
- Some or all of the elements (e.g. configurations and functions) described in Appendix 3 to Appendix 5 that are dependent on Appendix 1 and Appendix 2 (e.g. systems) may also be dependent on Appendix 11 and Appendix 12 (e.g. methods), Appendix 16 and Appendix 17 (e.g. programs) in a similar dependent relationship to Appendix 3 to Appendix 5.
- some or all of the elements (e.g. configurations and functions) described in Appendix 8 to Appendix 10 that are dependent on Appendix 6 and Appendix 7 (e.g. systems) may also be dependent on Appendix 14 and Appendix 15 (e.g. methods), Appendix 19 and Appendix 20 (e.g. programs) in a similar dependent relationship to Appendix 8 to Appendix 10.
- Some or all of the elements described in any appendix may be applicable to various hardware, software, recording means for recording software, systems, and methods.
- Position estimation system 101 Memory unit, 102 Acquisition unit, 103 Type determination unit, 104 Position estimation unit, 200 Position estimation system, 201 Memory unit, 202 Acquisition unit, 203 Position estimation unit, 300 Map generation system, 301 Acquisition unit, 302 Type determination unit, 303 Point cloud map generation unit, 400 Map generation system, 401 Acquisition unit, 402 Type determination unit, 403 Point cloud map generation unit, 404 Point cloud map update unit, 1000 Information processing device, 1001 Processor, 1002 Memory
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
位置情報と物体の三次元形状を対応づけた地図である点群マップを記憶する記憶手段と、移動体において撮影された画像、及び、移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、取得された画像に映る自然物の種別を判定する種別判定手段と、取得された点群データのうち、経時変化する種別であると判定された自然物に対応する点群データを除外した点群データを、記憶された点群マップと照合することにより、移動体の位置を推定する位置推定手段と、を備える位置推定システムを提供する。
Description
本開示は、位置推定システム、マップ生成システム、位置推定方法、マップ生成方法及びプログラムに関する。
特許文献１では、樹木の幹部と環境地図のマッチングを行うことにより、移動体の位置を推定することがなされている。
しかしながら、樹木等の自然物を撮像して移動体の位置を推定する場合、季節や時間によって自然物の外見が変化してしまうため、位置推定が困難になりうるという課題がある。特許文献１には、このような自然物の変化に対応することは開示されていない。そこで、本開示の目的の一つは、自然物の変化に頑健な位置推定システムを提供することにある。
本開示の一態様の位置推定システムは、
位置情報と物体の三次元形状を対応づけた地図である点群マップを記憶する記憶手段と、
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、記憶された前記点群マップと照合することにより、前記移動体の位置を推定する位置推定手段と、
を備える位置推定システムである。
位置情報と物体の三次元形状を対応づけた地図である点群マップを記憶する記憶手段と、
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、記憶された前記点群マップと照合することにより、前記移動体の位置を推定する位置推定手段と、
を備える位置推定システムである。
本開示の別の態様の位置推定システムは、
位置情報と物体の三次元形状を対応づけた地図である点群マップ、及び、前記点群マップに含まれる自然物の種別を記憶する記憶手段と、
前記移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、
取得された前記点群データを記憶された前記点群マップと照合することにより前記移動体の位置を推定する位置推定手段であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると記憶された自然物を除外して照合する位置推定手段と、
を備える位置推定システムである。
位置情報と物体の三次元形状を対応づけた地図である点群マップ、及び、前記点群マップに含まれる自然物の種別を記憶する記憶手段と、
前記移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、
取得された前記点群データを記憶された前記点群マップと照合することにより前記移動体の位置を推定する位置推定手段であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると記憶された自然物を除外して照合する位置推定手段と、
を備える位置推定システムである。
本開示の一態様のマップ生成システムは、
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する点群マップ生成手段と、
を備えるマップ生成システムである。
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する点群マップ生成手段と、
を備えるマップ生成システムである。
本開示の別の態様のマップ生成システムは、
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する点群マップ生成手段と、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する点群マップ更新手段と、
を備えるマップ生成システムである。
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する点群マップ生成手段と、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する点群マップ更新手段と、
を備えるマップ生成システムである。
本開示の一態様の位置推定方法は、
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、前記移動体の位置を推定する、
位置推定方法である。
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、前記移動体の位置を推定する、
位置推定方法である。
本開示の別の態様の位置推定方法は、
前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより前記移動体の位置を推定する処理であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより前記移動体の位置を推定する処理を行う、
位置推定方法である。
前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより前記移動体の位置を推定する処理であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより前記移動体の位置を推定する処理を行う、
位置推定方法である。
本開示の一態様のマップ生成方法は、
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する、
マップ生成方法である。
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する、
マップ生成方法である。
本開示の別の態様のマップ生成方法は、
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成し、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する、
マップ生成方法である。
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成し、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する、
マップ生成方法である。
本開示の一態様のプログラムは、
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、前記移動体の位置を推定する、
ことを情報処理装置に実行させるプログラムである。
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、前記移動体の位置を推定する、
ことを情報処理装置に実行させるプログラムである。
本開示の別の態様のプログラムは、
前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより前記移動体の位置を推定する処理であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより前記移動体の位置を推定する処理を行う、
ことを情報処理装置に実行させるプログラムである。
前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより前記移動体の位置を推定する処理であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより前記移動体の位置を推定する処理を行う、
ことを情報処理装置に実行させるプログラムである。
本開示の別の態様のプログラムは、
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する、
ことを情報処理装置に実行させるプログラムである。
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する、
ことを情報処理装置に実行させるプログラムである。
本開示の別の態様のプログラムは、
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成し、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する、
ことを情報処理装置に実行させるプログラムである。
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成し、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する、
ことを情報処理装置に実行させるプログラムである。
本開示により、自然物の変化に頑健な位置推定システムが提供される。
（実施の形態にかかる位置推定システムの説明）
図１は、本開示にかかる位置推定システムの構成を示すブロック図である。図９は、本開示にかかる自然物の種別の判定の例を示す図である。以下、位置推定システム１００の構成例を、図１、図９を用いて説明する。図１に示されるように、位置推定システム１００は、記憶部１０１と、取得部１０２と、種別判定部１０３と、位置推定部１０４を備える。位置推定システム１００は、例えば、周囲の環境を撮像して、撮像画像に基づいて位置を推定するシステムである。
図１は、本開示にかかる位置推定システムの構成を示すブロック図である。図９は、本開示にかかる自然物の種別の判定の例を示す図である。以下、位置推定システム１００の構成例を、図１、図９を用いて説明する。図１に示されるように、位置推定システム１００は、記憶部１０１と、取得部１０２と、種別判定部１０３と、位置推定部１０４を備える。位置推定システム１００は、例えば、周囲の環境を撮像して、撮像画像に基づいて位置を推定するシステムである。
位置推定システム１００は、移動体に取り付けられ、移動体の位置を推定する。例えば、位置推定システム１００は、ＥＣＵ（Electronic Control Unit）で実行されてもよい。また、位置推定システム１００は、移動体と遠隔して設けられ、電気通信などにより移動体の位置を推定してもよい。例えば、位置推定システム１００は、外部にあるクラウドサーバで実行されてもよい。移動体は、位置推定システム１００により移動しながら自分の位置を推定できる。位置推定システムが取り付けられた自律移動体は、自動走行が可能である。
移動体は、例えば、バス、自動車またはトラクタなど、周囲の環境に自然物のある屋外で移動する移動体である。屋内に自然物がある場合は、移動体は屋内を移動する移動体であってもよい。移動体は、例えば原動機またはモータを備え、ガソリンまたは電気を動力にして自律して移動できる自律移動体である。
記憶部１０１は、位置情報と物体の三次元形状を対応付けた地図である点群マップを記憶する。点群マップは点群データから作成する。点群データとは、物体の三次元形状を表すデータである。点群データは、三次元形状に加えて色情報を含んでもよい。点群データは、例えば物体の一部の点の三次元座標（Ｘ，Ｙ，Ｚ）及び色情報（Ｒ，Ｇ，Ｂ）の集合で表される。
取得部１０２は、移動体において撮影された画像、及び、移動体において測定された物体の三次元形状を表す点群データを取得する。移動体には、撮像装置が備えられている。撮像装置には、ＲＧＢセンサが用いられる。また、撮像装置は、赤外線センサが用いられてもよい。また、移動体は、距離センサを備える。距離センサは、深度センサ、LiDAR（Light Detection and Ranging）、レーザ、ミリ波レーダ、ステレオカメラなどを含む。距離センサは、自然物までの距離を測定するために用いられる。点群データは例えばLiDARを含む距離センサを用いて取得される。
種別判定部１０３は、取得された画像に映る自然物の種別を判定する。自然物は、例えば木または草である。自然物の種別は、例えば落葉樹、常緑樹、多年草、または一年草などである。自然物は季節などの時間変化に応じて姿を変える。例えば、常緑樹は、一年中葉をつけその外見に変化が少ない。しかしながら、落葉樹は、春に芽吹き、夏に葉の緑が濃くなり、秋に葉の色が変わり、冬に葉を落とす。したがって、落葉樹は、一年を通して外見の変化が大きい。また、多年草は、同じ株から翌年以降も花を咲かせる植物である。そのため、時間の経過とともに多年草の領域が増え、外見を大きく変える。一年草は、一年しか育たない草で、春に芽吹き、夏に成長し、秋や冬には、枯れて姿を消す。したがって、一年草は、一年で外見を大きく変える。
位置推定システム１００により、例えば図９に示されるように、落葉樹であるDeciduous tree、常緑樹であるEver green treeが検出される。また、多年草であるPerennial grassが検出される。
撮像装置は、移動体の周囲の環境を撮像し、自然物を検出する。種別判定部１０３は、検出した自然物の種別を判定する。
位置推定部１０４は、取得された点群データのうち、経時変化する種別であると判定された自然物に対応する点群データを除外した点群データを、記憶された点群マップと照合することにより、移動体の位置を推定する。具体的には、位置推定部１０４は、予め作成された点群マップと、現在の点群マップを比較し、移動体の位置を推定する。位置推定部１０４は、検出された自然物のうち、種別が経時変化するものであると判定された自然物を除外して現在の点群マップを予め作成された点群マップと照合して位置を推定する。
例えば、落葉樹であれば、葉の部分は、一年を通して変化するのでその部分の点群を除外して地図を作成し、位置を推定する。例えば、一年草であれば、その部分の点群を除外して地図を作成し、位置を推定するなどである。したがって、自然物以外の建物、ビル、建築物、及び壁等を用いて位置を推定する。
この中には、検出された自然物のうち、種別が経時変化するものであると判定された自然物の区分を保存しておき、区分を考慮して点群マップに照合することが含まれる。
例えば、区分が常緑樹なのか落葉樹なのか区分しておき、その部分の点群を含めて地図を作成し、この区分を考慮して点群マップに照合する。例えば、常緑樹であれば点群マップにそれほど変化がないので現在取得された点群マップを予め作成された点群マップとそのまま照合する。例えば、落葉樹であれば、点群マップが変化するのでその部分を除外して現在取得された点群マップを予め作成された点群マップと照合する。
また、位置推定部１０４は、検出された自然物のうち、種別が変化するものであると判定された自然物が画像に含まれる場合に、経時変化する自然物の経時変化の予測を反映して更新した点群マップと取得された点群マップを照合することを行ってもよい。
例えば、上記したように、夏であれば落葉樹の葉が生い茂り、緑が濃くなる。位置推定部１０４は、季節ごとの変化、年ごとの変化を予測して、予め作成された点群マップを更新し、現在走行している移動体が取得した点群マップと照合して位置を推定する。予測には、例えば人工知能（AI(Artificial Intelligence)）を用いる。例えば、予め葉が茂る様子を機械学習しておき、木の幹の画像を入力すると、その季節の草木の葉の様子にふさわしい点群マップを出力する。
このような構成により、自然物の種別を判定し、判定に基づいて自然物を除外または自然物の変化を予測して位置を推定する位置推定システムが提供される。なお、記憶部１０１、取得部１０２、種別判定部１０３、位置推定部１０４は、それぞれ、記憶手段、取得手段、種別判定手段、位置推定手段と読み替えられてもよい。
（別の実施の形態にかかる位置推定システムの説明）
図２は本開示にかかる別の位置推定システムの構成を示すブロック図である。以下、位置推定システム２００の構成例を、図２を用いて説明する。
図２は本開示にかかる別の位置推定システムの構成を示すブロック図である。以下、位置推定システム２００の構成例を、図２を用いて説明する。
図２の位置推定システム２００は、位置推定システム１００と、種別判定手段を有さない点で異なる。すなわち、点群マップに含まれる自然物の種別を予め記憶しておく。
図２に示されるように、位置推定システム２００は、記憶部２０１と、取得部２０２と、位置推定部２０３とを備える。記憶部２０１は、位置情報と物体の三次元形状を対応づけた地図である点群マップ、及び、点群マップに含まれる自然物の種別を記憶する。取得部２０２は、移動体において測定された物体の三次元形状を表す点群データを取得する。位置推定部２０３は、取得された点群データを記憶された点群マップと照合することにより移動体の位置を推定する。そして位置推定部２０３は、点群マップに含まれる自然物のうち経時変化する種別であると記憶された自然物を除外して照合する。
なお、記憶部２０１、取得部２０２、位置推定部２０３は、それぞれ、記憶手段、取得手段、種別判定手段、位置推定手段と読み替えられてもよい。
（実施の形態にかかるマップ生成システムの説明）
図３は、本開示にかかるマップ生成システムの構成を示すブロック図である。以下、マップ生成システム３００の構成例を、図３を用いて説明する。
図３は、本開示にかかるマップ生成システムの構成を示すブロック図である。以下、マップ生成システム３００の構成例を、図３を用いて説明する。
図３に示されるように、本開示にかかるマップ生成システムは、取得部３０１と、種別判定部３０２と、点群マップ生成部３０３とを備える。
取得部３０１は、移動体において撮影された画像、移動体において測定された物体の三次元形状を表す点群データ、及び移動体の位置情報を取得する。位置情報は、例えばＧＰＳ（Global Positioning System）などで取得される。
種別判定部３０２は、取得された画像に映る自然物の種別を判定する。位置推定システム１００と同様に、ＡＩなどを用いて自然物の種別を判定する。
点群マップ生成部３０３は、取得された点群データのうち、経時変化する種別であると判定された自然物に対応する点群データを除外した点群データと、取得された位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する。点群マップ生成部３０３は、移動体から取得した点群データに基づいて点群マップを作成する。点群マップとは、位置情報と物体の三次元形状を対応付けた地図である。点群マップ生成部３０３で作成された点群マップは、予め取得された点群データから作成された点群マップと照合される。
このようにして位置推定システムのためのマップが生成される。取得部３０１、種別判定部３０２、点群マップ生成部３０３は、それぞれ取得手段、種別判定手段、点群マップ生成手段と読み替えられてもよい。
（別の実施の形態にかかるマップ生成システムの説明）
図４は、本開示にかかる別のマップ生成システムの構成を示すブロック図である。以下、マップ生成システム４００の構成例を、図４を用いて説明する。
図４は、本開示にかかる別のマップ生成システムの構成を示すブロック図である。以下、マップ生成システム４００の構成例を、図４を用いて説明する。
マップ生成システム４００は、マップ生成システム３００と、点群マップ更新部４０４を備えている点で異なる。図４に示されるように、マップ生成システム４００は、取得部４０１と、種別判定部４０２と、点群マップ生成部４０３と、点群マップ更新部４０４とを備える。
取得部４０１は、移動体において撮影された画像、移動体において測定された物体の三次元形状を表す点群データ、及び移動体の位置情報を取得する。種別判定部４０２は、取得された画像に映る自然物の種別を判定する。
点群マップ生成部４０３は、取得された点群データと、取得された位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する。
点群マップ更新部４０４は、経時変化する種別であると判定された自然物について、指定された時点における変化後の三次元形状を予測し、点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する。
このようにして、更新された点群マップと、取得された点群マップを照合して位置を推定する位置推定システムに用いられるマップを生成できる。取得部４０１と、種別判定部４０２と、点群マップ生成部４０３と、点群マップ更新部４０４は、取得手段、種別判定手段、点群マップ生成手段、点群マップ更新手段と読み替えてもよい。
位置推定システム１００、位置推定システム２００、マップ生成システム３００、マップ生成システム４００は、ＥＣＵなどの情報処理装置１０００によって実現される。図１０は、本開示の情報処理装置の構成を示すブロック図である。図１０に示されるように、情報処理装置１０００は、処理を実行するためにプログラムを処理するプロセッサ１００１と、プログラムを記憶するメモリ１００２と、を備える。情報処理装置１０００は、１つの装置で構成されてもよいし、複数の装置にわたって構成されてもよい。情報処理装置１０００は、機能の一部または全部を分散するクラウドサーバで構成されてもよい。
情報処理装置１０００が１つの装置で構成された場合、位置推定装置またはマップ生成装置といえる。
（実施の形態にかかる位置推定方法の説明）
図５は、本開示にかかる位置推定方法のフローチャートである。以下、位置推定方法を、図５のフローチャートを用いて説明する。本開示にかかる位置推定方法は、例えば図１の位置推定システム１００により実行される。
図５は、本開示にかかる位置推定方法のフローチャートである。以下、位置推定方法を、図５のフローチャートを用いて説明する。本開示にかかる位置推定方法は、例えば図１の位置推定システム１００により実行される。
図５に示されるように、まず、取得部１０２が、画像及び点群データを取得する（ステップＳ５０１）。取得部１０２は、移動体において撮影された画像、及び、移動体において測定された物体の三次元形状を表す点群データを取得する。次に、種別判定部１０３が、種別を判定する（ステップＳ５０２）。種別判定部１０３が、取得された画像に映る自然物の種別を判定する。次に位置推定部１０４は、位置を推定する（ステップＳ５０３）。位置推定部１０４は、経時変化する種別であると判定された自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、移動体の位置を推定する。位置推定部１０４は、検出された自然物のうち、種別が経時変化するものであると判定された自然物を除外して位置を推定してもよい。また、位置推定部１０４は、検出された自然物のうち、種別が変化するものであると判定された自然物が画像に含まれる場合に、経時変化する自然物の経時変化の予測を反映して更新された点群マップと点群マップを照合することを行ってもよい。
（別の実施の形態にかかる位置推定方法の説明）
図６は、本開示にかかる別の位置推定方法のフローチャートである。以下、別の位置推定方法を、図６のフローチャートを用いて説明する。本開示にかかる別の位置推定方法は、例えば図２の位置推定システム２００により実行される。
図６は、本開示にかかる別の位置推定方法のフローチャートである。以下、別の位置推定方法を、図６のフローチャートを用いて説明する。本開示にかかる別の位置推定方法は、例えば図２の位置推定システム２００により実行される。
図６に示されるようにまず、取得部２０２が、点群データを取得する（ステップＳ６０１）。取得部２０２は、移動体において測定された物体の三次元形状を表す点群データを取得する。次に位置推定部２０３は、位置を推定する（ステップＳ６０２）。位置推定部２０３は、取得された点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより移動体の位置を推定する。位置推定部２０３は、点群マップに含まれる自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより移動体の位置を推定する。
このような構成により、自然物の種別を判定し、判定に基づいて自然物を除外または自然物の変化を予測して位置を推定する位置推定方法が提供される。
（実施の形態にかかるマップ生成方法の説明）
図７は、本開示にかかるマップ生成方法のフローチャートである。以下、マップ生成方法を、図７のフローチャートを用いて説明する。本開示にかかるマップ生成方法は、例えば図３のマップ生成システム３００により実行される。図７に示されるように、まず、取得部３０１が画像、点群データ及び位置情報を取得する（ステップＳ７０１）。取得部３０１は、移動体において撮影された画像、移動体において測定された物体の三次元形状を表す点群データ、及び移動体の位置情報を取得する。
図７は、本開示にかかるマップ生成方法のフローチャートである。以下、マップ生成方法を、図７のフローチャートを用いて説明する。本開示にかかるマップ生成方法は、例えば図３のマップ生成システム３００により実行される。図７に示されるように、まず、取得部３０１が画像、点群データ及び位置情報を取得する（ステップＳ７０１）。取得部３０１は、移動体において撮影された画像、移動体において測定された物体の三次元形状を表す点群データ、及び移動体の位置情報を取得する。
次に、種別判定部３０２が、種別を判定する（ステップＳ７０２）。種別判定部３０２は、取得された画像に映る自然物の種別を判定する。次に点群マップ生成部３０３が、点群マップを生成する（ステップＳ７０３）。点群マップ生成部３０３が、取得された点群データのうち、経時変化する種別であると判定された自然物に対応する点群データを除外した点群データと、取得された位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する。
このような構成により、位置推定システムに用いられるマップ生成方法が提供される。
（実施の形態にかかる別のマップ生成方法の説明）
図８は、本開示にかかる別のマップ生成方法のフローチャートである。以下、別のマップ生成方法を、図８のフローチャートを用いて説明する。本開示にかかる別のマップ生成方法は、例えば図４のマップ生成システム４００により実行される。図８に示されるように、まず、取得部４０１が画像、点群データ及び位置情報を取得する（ステップＳ８０１）。取得部４０１は、移動体において撮影された画像、移動体において測定された物体の三次元形状を表す点群データ、及び移動体の位置情報を取得する。
図８は、本開示にかかる別のマップ生成方法のフローチャートである。以下、別のマップ生成方法を、図８のフローチャートを用いて説明する。本開示にかかる別のマップ生成方法は、例えば図４のマップ生成システム４００により実行される。図８に示されるように、まず、取得部４０１が画像、点群データ及び位置情報を取得する（ステップＳ８０１）。取得部４０１は、移動体において撮影された画像、移動体において測定された物体の三次元形状を表す点群データ、及び移動体の位置情報を取得する。
次に、種別判定部４０２が、種別を判定する（ステップＳ８０２）。種別判定部４０２は、取得された画像に映る自然物の種別を判定する。次に点群マップ生成部４０３が、点群マップを生成する（ステップＳ８０３）。点群マップ生成部４０３が、取得された前記点群データと、取得された位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する。次に点群マップ更新部４０４が、点群マップを更新する（ステップＳ８０４）。点群マップ更新部４０４は、経時変化する種別であると判定された自然物について、指定された時点における変化後の三次元形状を予測し、点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する。
このような構成により、位置推定システムに用いられるマップ生成方法が提供される。
また、上述した位置推定システム１００、位置推定システム２００、マップ生成システム３００、及びマップ生成システム４００における処理の一部又は全部は、コンピュータプログラムとして実現可能である。このようなプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、実施の形態を参照して本開示を説明したが、本開示は上述の実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
各図面は、１又はそれ以上の実施形態を説明するための単なる例示である。各図面は、１つの特定の実施形態のみに関連付けられるのではなく、１又はそれ以上の他の実施形態に関連付けられてもよい。当業者であれば理解できるように、いずれか１つの図面を参照して説明される様々な特徴又はステップは、例えば明示的に図示または説明されていない実施形態を作り出すために、１又はそれ以上の他の図に示された特徴又はステップと組み合わせることができる。例示的な実施形態を説明するためにいずれか１つの図に示された特徴またはステップのすべてが必ずしも必須ではなく、一部の特徴またはステップが省略されてもよい。いずれかの図に記載されたステップの順序は、適宜変更されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
位置情報と物体の三次元形状を対応づけた地図である点群マップを記憶する記憶手段と、
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、記憶された前記点群マップと照合することにより、前記移動体の位置を推定する位置推定手段と、
を備える位置推定システム。
（付記２）
位置情報と物体の三次元形状を対応づけた地図である点群マップ、及び、前記点群マップに含まれる自然物の種別を記憶する記憶手段と、
及び前記移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、
取得された前記点群データを記憶された前記点群マップと照合することにより前記移動体の位置を推定する位置推定手段であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると記憶された自然物を除外して照合する位置推定手段と、
を備える位置推定システム。
（付記３）
前記自然物は、木及び草のうち少なくともいずれかである、付記１または２に記載の位置推定システム。
（付記４）
前記種別は、常緑樹、落葉樹、多年草及び一年草のうち少なくともいずれかである、付記１乃至３のいずれか１項に記載の位置推定システム。
（付記５）
前記移動体はバス、自動車またはトラクタである、付記１乃至４のいずれか１項に記載の位置推定システム。
（付記６）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する点群マップ生成手段と、
を備えるマップ生成システム。
（付記７）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する点群マップ生成手段と、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する点群マップ更新手段と、
を備えるマップ生成システム。
（付記８）
前記自然物は、木及び草のうち少なくともいずれかである、付記６または７に記載のマップ生成システム。
（付記９）
前記種別は、常緑樹、落葉樹、多年草及び一年草のうち少なくともいずれかである、付記６乃至８のいずれか１項に記載のマップ生成システム。
（付記１０）
前記移動体はバス、自動車またはトラクタである、付記６乃至９のいずれか１項に記載のマップ生成システム。
（付記１１）
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、前記移動体の位置を推定する、
位置推定方法。
（付記１２）
前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより前記移動体の位置を推定する処理であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより前記移動体の位置を推定する処理を行う、
位置推定方法。
（付記１３）
前記自然物は、木及び草のうち少なくともいずれかである、付記１１または１２に記載の位置推定方法。
（付記１４）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する、
マップ生成方法。
（付記１５）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成し、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する、
マップ生成方法。
（付記１６）
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、前記移動体の位置を推定する、
ことを情報処理装置に実行させるプログラム。
（付記１７）
前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより前記移動体の位置を推定する処理であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより前記移動体の位置を推定する処理を行う、
ことを情報処理装置に実行させるプログラム。
（付記１８）
前記自然物は、木及び草のうち少なくともいずれかである、付記１６または１７に記載のプログラム。
（付記１９）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する、
ことを情報処理装置に実行させるプログラム。
（付記２０）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成し、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する、
ことを情報処理装置に実行させるプログラム。
（付記１）
位置情報と物体の三次元形状を対応づけた地図である点群マップを記憶する記憶手段と、
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、記憶された前記点群マップと照合することにより、前記移動体の位置を推定する位置推定手段と、
を備える位置推定システム。
（付記２）
位置情報と物体の三次元形状を対応づけた地図である点群マップ、及び、前記点群マップに含まれる自然物の種別を記憶する記憶手段と、
及び前記移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、
取得された前記点群データを記憶された前記点群マップと照合することにより前記移動体の位置を推定する位置推定手段であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると記憶された自然物を除外して照合する位置推定手段と、
を備える位置推定システム。
（付記３）
前記自然物は、木及び草のうち少なくともいずれかである、付記１または２に記載の位置推定システム。
（付記４）
前記種別は、常緑樹、落葉樹、多年草及び一年草のうち少なくともいずれかである、付記１乃至３のいずれか１項に記載の位置推定システム。
（付記５）
前記移動体はバス、自動車またはトラクタである、付記１乃至４のいずれか１項に記載の位置推定システム。
（付記６）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する点群マップ生成手段と、
を備えるマップ生成システム。
（付記７）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する点群マップ生成手段と、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する点群マップ更新手段と、
を備えるマップ生成システム。
（付記８）
前記自然物は、木及び草のうち少なくともいずれかである、付記６または７に記載のマップ生成システム。
（付記９）
前記種別は、常緑樹、落葉樹、多年草及び一年草のうち少なくともいずれかである、付記６乃至８のいずれか１項に記載のマップ生成システム。
（付記１０）
前記移動体はバス、自動車またはトラクタである、付記６乃至９のいずれか１項に記載のマップ生成システム。
（付記１１）
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、前記移動体の位置を推定する、
位置推定方法。
（付記１２）
前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより前記移動体の位置を推定する処理であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより前記移動体の位置を推定する処理を行う、
位置推定方法。
（付記１３）
前記自然物は、木及び草のうち少なくともいずれかである、付記１１または１２に記載の位置推定方法。
（付記１４）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する、
マップ生成方法。
（付記１５）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成し、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する、
マップ生成方法。
（付記１６）
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、前記移動体の位置を推定する、
ことを情報処理装置に実行させるプログラム。
（付記１７）
前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより前記移動体の位置を推定する処理であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより前記移動体の位置を推定する処理を行う、
ことを情報処理装置に実行させるプログラム。
（付記１８）
前記自然物は、木及び草のうち少なくともいずれかである、付記１６または１７に記載のプログラム。
（付記１９）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する、
ことを情報処理装置に実行させるプログラム。
（付記２０）
移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成し、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する、
ことを情報処理装置に実行させるプログラム。
付記１、２｛e.g. システム｝に従属する付記３～付記５に記載した要素（例えば構成及び機能）の一部または全ては、付記１１及び付記１２｛e.g. 方法｝、付記１６及び付記１７｛e.g. プログラム｝に対しても付記３～付記５と同様の従属関係により従属し得る。また、付記６、７｛e.g. システム｝に従属する付記８～付記１０に記載した要素（例えば構成及び機能）の一部または全ては、付記１４及び付記１５｛e.g. 方法｝、付記１９及び付記２０｛e.g. プログラム｝に対しても付記８～付記１０と同様の従属関係により従属し得る。任意の付記に記載された要素の一部または全ては、様々なハードウェア、ソフトウェア、ソフトウェアを記録するための記録手段、システム、及び方法に適用され得る。
１００ 位置推定システム、１０１ 記憶部、１０２ 取得部、１０３ 種別判定部、１０４ 位置推定部、２００ 位置推定システム、２０１ 記憶部、２０２ 取得部、２０３ 位置推定部、３００ マップ生成システム、３０１ 取得部、３０２ 種別判定部、３０３ 点群マップ生成部、４００ マップ生成システム、４０１ 取得部、４０２ 種別判定部、４０３ 点群マップ生成部、４０４ 点群マップ更新部、１０００ 情報処理装置、１００１ プロセッサ、１００２ メモリ
Claims (20)
- 位置情報と物体の三次元形状を対応づけた地図である点群マップを記憶する記憶手段と、
移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、記憶された前記点群マップと照合することにより、前記移動体の位置を推定する位置推定手段と、
を備える位置推定システム。 - 位置情報と物体の三次元形状を対応づけた地図である点群マップ、及び、前記点群マップに含まれる自然物の種別を記憶する記憶手段と、
前記移動体において測定された物体の三次元形状を表す点群データを取得する取得手段と、
取得された前記点群データを記憶された前記点群マップと照合することにより前記移動体の位置を推定する位置推定手段であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると記憶された自然物を除外して照合する位置推定手段と、
を備える位置推定システム。 - 前記自然物は、木及び草のうち少なくともいずれかである、請求項１または２に記載の位置推定システム。
- 前記種別は、常緑樹、落葉樹、多年草及び一年草のうち少なくともいずれかである、請求項１乃至３のいずれか１項に記載の位置推定システム。
- 前記移動体はバス、自動車またはトラクタである、請求項１乃至４のいずれか１項に記載の位置推定システム。
- 移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する点群マップ生成手段と、
を備えるマップ生成システム。 - 移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得する取得手段と、
取得された前記画像に映る自然物の種別を判定する種別判定手段と、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する点群マップ生成手段と、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する点群マップ更新手段と、
を備えるマップ生成システム。 - 前記自然物は、木及び草のうち少なくともいずれかである、請求項６または７に記載のマップ生成システム。
- 前記種別は、常緑樹、落葉樹、多年草及び一年草のうち少なくともいずれかである、請求項６乃至８のいずれか１項に記載のマップ生成システム。
- 前記移動体はバス、自動車またはトラクタである、請求項６乃至９のいずれか１項に記載のマップ生成システム。
- 移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、前記移動体の位置を推定する、
位置推定方法。 - 前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより前記移動体の位置を推定する処理であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより前記移動体の位置を推定する処理を行う、
位置推定方法。 - 前記自然物は、木及び草のうち少なくともいずれかである、請求項１１または１２に記載の位置推定方法。
- 移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する、
マップ生成方法。 - 移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成し、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する、
マップ生成方法。 - 移動体において撮影された画像、及び、前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データを、予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより、前記移動体の位置を推定する、
ことを情報処理装置に実行させるプログラム。 - 前記移動体において測定された物体の三次元形状を表す点群データを取得し、
取得された前記点群データを予め記憶された点群マップであって位置情報と物体の三次元形状を対応付けた地図である点群マップと照合することにより前記移動体の位置を推定する処理であって、前記点群マップに含まれる前記自然物のうち経時変化する種別であると予め記憶された自然物を除外して照合することにより前記移動体の位置を推定する処理を行う、
ことを情報処理装置に実行させるプログラム。 - 前記自然物は、木及び草のうち少なくともいずれかである、請求項１６または１７に記載のプログラム。
- 移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データのうち、経時変化する種別であると判定された前記自然物に対応する点群データを除外した点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成する、
ことを情報処理装置に実行させるプログラム。 - 移動体において撮影された画像、前記移動体において測定された物体の三次元形状を表す点群データ、及び前記移動体の位置情報を取得し、
取得された前記画像に映る自然物の種別を判定し、
取得された前記点群データと、取得された前記位置情報と、に基づいて、位置情報と物体の三次元形状を対応づけた地図である点群マップを生成し、
経時変化する種別であると判定された前記自然物について、指定された時点における変化後の三次元形状を予測し、前記点群マップに含まれる当該自然物の三次元形状を予測された変化後の三次元形状で更新する、
ことを情報処理装置に実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/001470 WO2025154265A1 (ja) | 2024-01-19 | 2024-01-19 | 位置推定システム、マップ生成システム、位置推定方法、マップ生成方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/001470 WO2025154265A1 (ja) | 2024-01-19 | 2024-01-19 | 位置推定システム、マップ生成システム、位置推定方法、マップ生成方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025154265A1 true WO2025154265A1 (ja) | 2025-07-24 |
Family
ID=96470877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/001470 Pending WO2025154265A1 (ja) | 2024-01-19 | 2024-01-19 | 位置推定システム、マップ生成システム、位置推定方法、マップ生成方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025154265A1 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019151105A1 (ja) * | 2018-01-31 | 2019-08-08 | パイオニア株式会社 | 周辺情報処理方法 |
| WO2022107586A1 (ja) * | 2020-11-18 | 2022-05-27 | 株式会社クボタ | 移動体、制御ユニット、および移動体の動作を制御する方法 |
-
2024
- 2024-01-19 WO PCT/JP2024/001470 patent/WO2025154265A1/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019151105A1 (ja) * | 2018-01-31 | 2019-08-08 | パイオニア株式会社 | 周辺情報処理方法 |
| WO2022107586A1 (ja) * | 2020-11-18 | 2022-05-27 | 株式会社クボタ | 移動体、制御ユニット、および移動体の動作を制御する方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12412390B2 (en) | System and method for determining location and orientation of an object in a space | |
| CN108984741B (zh) | 一种地图生成方法及装置、机器人和计算机可读存储介质 | |
| JP2018128314A (ja) | 移動体位置推定システム、移動体位置推定端末装置、情報格納装置、及び移動体位置推定方法 | |
| US20220414362A1 (en) | Method and system for optimizing image data for generating orthorectified image | |
| CN114494896B (zh) | 一种用于耕地保护的耕地状态监测方法、设备及介质 | |
| US20240062461A1 (en) | Method and system for producing a digital terrain model | |
| CN113096181A (zh) | 设备位姿的确定方法、装置、存储介质及电子装置 | |
| CN113313755A (zh) | 目标对象位姿的确定方法、装置、设备及存储介质 | |
| CN119270902A (zh) | 基于路径规划的无人机巡检及输电作业控制方法及系统 | |
| WO2022107619A1 (ja) | データ解析装置および方法、並びに、プログラム | |
| Martinez et al. | Pit30m: A benchmark for global localization in the age of self-driving cars | |
| EP4360047A1 (fr) | Procédé de caractérisation d'une zone d'un territoire destinée à l'installation de panneaux photovoltaïques | |
| JP6973107B2 (ja) | 自己位置推定装置 | |
| CN111882550B (zh) | 冰雹检测方法、装置、计算机设备和可读存储介质 | |
| CN121121532B (zh) | 基于因果推理的星地协同遥感图像的解译方法及装置 | |
| WO2022107620A1 (ja) | データ解析装置および方法、並びに、プログラム | |
| US20230100412A1 (en) | A system, a method and a computer program for generating a digital map of an environment | |
| Paton et al. | In the dead of winter: Challenging vision-based path following in extreme conditions | |
| CN117622191A (zh) | 自动驾驶感知方法、系统、控制器和计算机可读存储介质 | |
| JP4946072B2 (ja) | 樹頂探索方法、装置及びプログラム | |
| CN119251512A (zh) | 基于融合模态的目标检测方法、装置、计算机设备及介质 | |
| WO2019151105A1 (ja) | 周辺情報処理方法 | |
| CN120411398B (zh) | 一种用于地形测绘的三维模型构建方法及系统 | |
| Renardi et al. | Using Multi-Quadrotor System for Effective Road Mapping | |
| US20250347531A1 (en) | Map updating method, electronic device and non-transitory computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24918732 Country of ref document: EP Kind code of ref document: A1 |