WO2022186354A1 - 情報処理装置および自律移動ロボット - Google Patents

情報処理装置および自律移動ロボット Download PDF

Info

Publication number
WO2022186354A1
WO2022186354A1 PCT/JP2022/009225 JP2022009225W WO2022186354A1 WO 2022186354 A1 WO2022186354 A1 WO 2022186354A1 JP 2022009225 W JP2022009225 W JP 2022009225W WO 2022186354 A1 WO2022186354 A1 WO 2022186354A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
information processing
mobile robot
autonomous mobile
sensor
Prior art date
Application number
PCT/JP2022/009225
Other languages
English (en)
French (fr)
Inventor
貴之 猿田
優希 井上
由宇 砂原
Original Assignee
株式会社Preferred Networks
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Preferred Networks filed Critical 株式会社Preferred Networks
Publication of WO2022186354A1 publication Critical patent/WO2022186354A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • Embodiments of the present invention relate to information processing devices and autonomous mobile robots.
  • the information processing device of the embodiment includes an integration unit and an estimation unit.
  • the integration unit receives data from an imaging device that captures an image of the surroundings of the autonomous mobile robot, a ranging sensor that measures the distance to an object located around the autonomous mobile robot, and a measurement sensor that measures the angular velocity and acceleration of the autonomous mobile robot. , to obtain information for a given period of time.
  • the estimation unit estimates the self-position and generates map information based on information obtained in parallel by the imaging device, the ranging sensor, and the measurement sensor during the same period.
  • FIG. 1 is a diagram showing an example of an appearance of an autonomous mobile robot according to an embodiment.
  • FIG. 2 is a diagram showing an example of a schematic diagram of the autonomous mobile robot according to the embodiment viewed from the side.
  • FIG. 3 is a diagram showing an example of a schematic diagram of the autonomous mobile robot according to the embodiment viewed from above.
  • FIG. 4 is a diagram showing another example of a schematic diagram of the autonomous mobile robot according to the embodiment viewed from the side.
  • FIG. 5 is a block diagram illustrating an example of functions of a controller according to the embodiment;
  • FIG. 6 is a flowchart illustrating an example of the flow of processing according to the embodiment.
  • FIG. 1 is a diagram showing an example of the appearance of an autonomous mobile robot 1 according to an embodiment.
  • the autonomous mobile robot 1 includes a main body 2, a camera 7, a LiDAR (Light Detection and Ranging or Laser Imaging Detection and Ranging) 8, and a plurality of wheels 5.
  • a LiDAR Light Detection and Ranging or Laser Imaging Detection and Ranging
  • the camera 7 is an example of an imaging device capable of imaging the surroundings of the autonomous mobile robot 1.
  • the camera 7 is a monocular camera equipped with a wide-angle lens so as to capture a wide range.
  • a wide-angle lens capable of imaging a wide range includes a fisheye lens.
  • a plurality of cameras 7 may be provided, and may be stereo cameras, for example. Alternatively, it may be an RGB-D camera having an RGB (Red Green Blue) camera and a three-dimensional measurement camera (depth camera), or a monochrome camera.
  • RGB Red Green Blue
  • depth camera three-dimensional measurement camera
  • the LiDAR 8 is an example of a ranging sensor that measures the distance to objects located around the autonomous mobile robot 1 .
  • LiDAR8 uses laser light to measure the distance to surrounding three-dimensional point clouds.
  • the distance measurement sensor in this embodiment is not limited to the LiDAR8, and may be a TOF (Time Of Flight) or other active or passive distance measurement sensor.
  • the autonomous mobile robot 1 has four wheels 5 in total, two on each side.
  • the wheels 5 support the main body 2, and the rotation of the wheels 5 allows the main body 2 to move.
  • the wheels 5 are an example of a moving device in this embodiment.
  • the autonomous mobile robot 1 moves autonomously while recognizing its own position and surrounding environment in real time.
  • FIG. 2 is an example of a schematic diagram of the autonomous mobile robot 1 according to the embodiment viewed from the side.
  • the main body 2 contains a controller 3 and an IMU (Inertial Measurement Unit) sensor 9 .
  • IMU Inertial Measurement Unit
  • the controller 3 is an example of an information processing device in this embodiment, and executes SLAM (Simultaneous Localization and Mapping, or Simultaneously Localization and Mapping) processing and self-absolute position estimation processing on a map. Functions of the controller 3 will be described later.
  • SLAM Simultaneous Localization and Mapping, or Simultaneously Localization and Mapping
  • the "position of the autonomous mobile robot 1" and the "position of the controller 3" refer to substantially the same position.
  • An IMU (Inertial Measurement Unit) sensor 9 is an example of a sensor that measures angular velocity and acceleration.
  • the IMU sensor is, for example, a sensor in which a gyro sensor and an acceleration sensor are integrated, and measures the angular velocity and acceleration of the autonomous mobile robot 1 .
  • the first region R7 captured by the camera 7 and the second region R8 targeted for distance measurement by the LiDAR 8 overlap each other at least partially in the obtained data.
  • FIG. 3 is an example of a schematic diagram of the autonomous mobile robot 1 according to the embodiment viewed from above.
  • the LiDAR 8 of this embodiment is a three-dimensional LiDAR whose range is to be measured over 360°.
  • the size and position of the second region R8, which is the distance measurement target of the LiDAR 8 is an example, and the range of 360° or less may be the distance measurement target.
  • the camera 7 of this embodiment captures the direction in which the autonomous mobile robot 1 is traveling.
  • the orientation and position of the first region R7 of the camera 7 are an example, and may be any as long as necessary information can be acquired.
  • FIG. 4 is another example of a schematic diagram of the autonomous mobile robot 1 according to the embodiment viewed from the side.
  • the LiDAR 81 is a two-dimensional LiDAR.
  • the autonomous mobile robot 1 may be provided with either LiDAR 8, which is a three-dimensional LiDAR, or LiDAR 81, which is a two-dimensional LiDAR.
  • FIG. 5 is a block diagram showing an example of functions provided by the controller 3 according to the embodiment.
  • the controller 3 includes an integration section 31, a front end 33, and a back end 35.
  • the direction of the arrow connecting the blocks shown in FIG. 5 is directed from the transmission source of the control or data access processing to the transmission destination.
  • the integration unit 31 acquires information for a predetermined period from the camera 7, LiDAR8 (or LiDAR81), and IMU sensor 9.
  • This predetermined period can also be rephrased as between the first time and the second time, between the predetermined time t and the predetermined time t+1, or between the predetermined time t and the predetermined time t_ ⁇ i+1 ⁇ . More specifically, when acquiring information from the camera 7, the LiDAR 8, and the IMU sensor 9, the integration unit 31 defines a section of a predetermined time interval as one frame, and the camera 7 , LiDAR 8 and IMU sensor 9 are collected in correspondence.
  • the integration unit 31 does not sequentially acquire data from the camera 7, LiDAR 8 (or LiDAR 81), and IMU sensor 9, but simultaneously acquires sensing results from these multiple sensors.
  • the front end 33 and back end 35 are an example of an estimator in this embodiment.
  • the front end 33 and the back end 35 are SLAM (Simultaneous Localization) that performs self-location estimation and map information generation based on information obtained in parallel by the camera 7, LiDAR 8, and IMU sensor 9 during the same period. and Mapping, or Simultaneously Localization and Mapping) processing.
  • SLAM Simultaneous Localization
  • the front end 33 performs pre-processing on the information collected from the camera 7, LiDAR 8, and IMU sensor 9 by the integration unit 31, and the back end 35, based on the results of the processing performed in the front end 33, maps Estimate the position of the autonomous mobile robot 1 on the top.
  • the front end 33 includes a pre-integration unit 330, a tracking unit 332, and calibration data 334.
  • the pre-integration unit 330 acquires raw data regarding the IMU from the integration unit 31 and pre-integrates the raw data. Since the data amount of the measurement result of the IMU is generally larger than that of the image data captured by the camera 7, integration processing is performed by the pre-integration unit 330. FIG.
  • the tracking unit 332 performs tracking processing on the point cloud extracted from the image data including multiple frames captured by the camera 7 .
  • the tracking unit 332 acquires the image data and the distance data from the integration unit 31, and uses the distance data to track the point group included in the image data.
  • the image data is image data captured by the camera 7 .
  • the distance data is the distance measurement result of LiDAR8. Note that the tracking unit 332 treats the point cloud extracted from the image data and the point cloud data forming the distance data as similar point cloud data.
  • the tracking unit 332 determines the initial value of the point cloud distance in the tracking process based on the distance measurement result obtained from the LiDAR8. As a result, the range of possible initial values for tracking is limited, and the tracking process is made efficient.
  • the tracking unit 332 obtains the initial value of the distance to points located outside the measurable range of the LiDAR 8 by stereo processing based on image data including multiple frames captured by the camera 7 .
  • the tracking unit 332 calculates using the stereo parallax of the stereo camera.
  • the tracking unit 332 may perform stereo processing using images of different frames captured while the autonomous mobile robot 1 is moving.
  • the tracking unit 332 uses the calibration data 334 used for the calibration of the three-dimensional point cloud data included in the image data and the distance data for processing.
  • the tracking unit 332 acquires integrated IMU data from the pre-integration unit 330 .
  • the tracking unit 332 generates a "marginalized frame" that is excluded from optimization because it is determined that the estimation is stable.
  • the backend 35 estimates the absolute position of the autonomous mobile robot 1 on the pre-map 356 based on the processing result of the frontend 33 .
  • the backend 35 includes an AR (Augmented Reality) marker detection unit 350, an AR marker map 352, an image acquisition unit 354, a prior map 356, and a pose graph optimization unit 358.
  • AR Augmented Reality
  • the AR marker detection unit 350 detects AR markers set around the autonomous mobile robot 1 .
  • the AR marker detection unit 350 reads the “marginalized frame” from the tracking unit 332 and estimates the position of the autonomous mobile robot 1 based on the AR marker map 352 .
  • the image acquisition unit 354 reads the "marginalized frame" from the tracking unit 332.
  • the image acquisition unit 354 also acquires map image data from the pre-map 356 .
  • the preliminary map 356 is an example of "a map including the surroundings of the information processing apparatus" in this embodiment.
  • the pose graph optimization unit 358 acquires relative positions from the tracking unit 332 , absolute positions from the AR marker detection unit 350 , and relative positions from the image acquisition unit 354 .
  • the pose graph optimization unit 358 corrects the absolute position of the autonomous mobile robot 1 based on the acquired information.
  • the pose graph optimization unit 358 presents the corrected absolute position to the user U.
  • the corrected absolute position is associated on the map. Self-position estimation on such a map is called Localization.
  • the tracking unit 332 presents the relative position of the autonomous mobile robot 1 to the user U.
  • the controller 3 of the present embodiment acquires information in temporal synchronization from the camera 7, LiDAR 8, and IMU sensor 9, and from the camera 7, LiDAR 8 (or LiDAR 81), and IMU sensor 9, Acquisition of information that is temporally synchronized allows estimation of the self-position and generation of map information based on the information that is obtained during the same time period. Therefore, according to the controller 3 of the present embodiment, by integrating multiple sensors (for example, the camera 7, the LiDAR 8, and the IMU sensor 9), it is possible to obtain highly accurate self-position estimation results. That is, it is possible to estimate the self-position and generate map information with high accuracy.
  • the controller 3 of the present embodiment simultaneously optimizes image information obtained from the camera 7, point cloud information obtained from the LiDAR 8 (or LiDAR 81), and information obtained from the IMU sensor 9. Estimate pose.
  • the controller 3 uses image data obtained from the camera 7, point cloud data (distance data) obtained from the LiDAR 8 (or LiDAR 81), and IMU data obtained from the IMU sensor 9.
  • an estimated value T that minimizes this objective function E(T) is calculated.
  • the estimated value T of the relative position and orientation calculated in this manner is used for estimating the self-position and generating map information.
  • the objective function E(T) is designed so that the estimated value T of the change in position and orientation from the key frame to the current frame (that is, the relative position and orientation between frames) approaches the optimum value, the value becomes smaller.
  • This objective function E(T) is, for example, the sum of a function E_c(T) for image data, a function E_l(T) for distance data (point cloud data), and a function E_i(T) for IMU data.
  • Each of these functions E_c, E_l, E_i is a function of the estimated value T of the relative position and orientation.
  • the function E_c(T) related to the image data is an error function whose value decreases as the estimated value T of the relative position and orientation estimated from the image data approaches the optimum value, and is an error function calculated based on the image data. is.
  • E_c(T) may be designed arbitrarily and is, as an example, a function of the photometric error of the image data between frames calculated using the estimated value T.
  • the function E_l(T) related to the distance data is an error function that decreases as the estimated value T of the relative position and orientation estimated from the distance data (point cloud data) approaches the optimum value. data).
  • E_l(T) may be designed as appropriate, and as an example, the square of the distance between corresponding points between two frames of point cloud data calculated using the estimated value T used in the ICP (Iterative Closest Point) algorithm is a function of error.
  • the function E_i related to the IMU data is an error function such that the closer the relative position/orientation observation value obtained by integrating the IMU observation values (acceleration and angular velocity) acquired between frames and the estimated value T, the smaller the value. It is an error function calculated based on the data.
  • E_i(T) may be designed accordingly.
  • E_i(T) for example, a well-known non-patent document "C. Forster et. https://arxiv.org/abs/1512.02363" can be applied, such as the residual shown in the second item of the argument of the argmin function on the second line of the formula (26).
  • the entire contents of the above non-patent documents are incorporated herein by reference.
  • the equation for optimizing the information obtained from the image is formulated as a problem of minimizing the photometric error between the obtained frames.
  • the initial value of the distance value of the point cloud is estimated not from the image but also from the information obtained from the LiDAR8.
  • the information in the area where the information obtainable ranges of the camera 7 and the LiDAR 8 overlap is obtained from the LiDAR 8,
  • the range in which only the camera 7 can acquire information can be acquired by stereo vision (both eyes or time-series stereo) using the camera 7 .
  • the direct method is used, but an indirect method may be used in which feature points are acquired in advance from the image.
  • the IMU sensor 9, which has high measurement accuracy but is difficult to measure for a long time, and the LiDAR 8, which may lose measurement accuracy depending on the environment, such as when facing a wall, are capable of imaging a relatively wide range, such as a wall. Even if the LiDAR 8 faces each other and cannot properly acquire information, by combining it with a camera 7 equipped with a wide-angle lens that can shoot another object such as the ceiling, it is possible to handle relatively diverse environments while maintaining high accuracy. self-location estimation and map information generation.
  • the tracking unit 332 determines the initial value of the distance of the point group in the tracking process based on the distance measurement result obtained from the LiDAR8. This makes it possible to reduce the processing load of estimating the distance to the point in the tracking process.
  • information is acquired from the sensor provided in the autonomous mobile robot 1 (S1), SLAM processing is performed based on the information (S2), and the obtained self-position estimation
  • S3 Each process of moving the autonomous mobile robot (S3) can be executed based on the result and the map information.
  • the information processing device system may include an information processing device that estimates the self-position and generates map information, and an autonomous mobile robot that includes sensors and is capable of communicating with the information processing device. can.
  • Part or all of the controller 3 described above may be configured with hardware, or configured with information processing software (programs) executed by a CPU (Central Processing Unit), GPU (Graphics Processing Unit), or the like.
  • the software that realizes at least part of the functions of each device in the above-described embodiments can be transferred to a flexible disk, a CD-ROM (Compact Disc-Read Only Memory), or a USB (Universal Information processing of the software may be executed by storing the software in a non-temporary storage medium (non-temporary computer-readable medium) such as Serial Bus memory and reading it into a computer.
  • the software may be downloaded via a communication network.
  • information processing may be executed by hardware by implementing software in a circuit such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • the type of storage medium that stores the software is not limited.
  • the storage medium is not limited to a detachable one such as a magnetic disk or an optical disk, and may be a fixed storage medium such as a hard disk or memory. Also, the storage medium may be provided inside the computer, or may be provided outside the computer.
  • the controller 3 for example, includes a processor, a main storage device (memory), an auxiliary storage device (memory), a network interface, and a device interface. may be implemented.
  • controller 3 may be executed in parallel using one or more processors or using multiple computers via a network. Also, various operations may be distributed to a plurality of operation cores in the processor and executed in parallel. Also, part or all of the processing, means, etc. of the present disclosure may be executed by at least one of a processor and a storage device provided on a cloud capable of communicating with the controller 3 via a network. Thus, each device in the above-described embodiments may be in the form of parallel computing by one or more computers.
  • the processor may be an electronic circuit (processing circuit, processing circuit, processing circuitry, CPU, GPU, FPGA, ASIC, etc.) including a computer control device and arithmetic device. Also, the processor may be a semiconductor device or the like including a dedicated processing circuit. The processor is not limited to an electronic circuit using electronic logic elements, and may be realized by an optical circuit using optical logic elements. The processor may also include computational capabilities based on quantum computing.
  • the processor can perform arithmetic processing based on the data and software (programs) input from each device, etc. of the internal configuration of the controller 3, and output the arithmetic result and control signal to each device, etc.
  • the processor may control each component of the controller 3 by executing the OS (Operating System) of the controller 3, applications, and the like.
  • the controller 3 described above may be realized by one or more processors.
  • the processor may refer to one or more electronic circuits arranged on one chip, or one or more electronic circuits arranged on two or more chips or two or more devices. may When multiple electronic circuits are used, each electronic circuit may communicate by wire or wirelessly.
  • the expression "at least one (one) of a, b and c" or “at least one (one) of a, b or c" includes any of a, b, c, a-b, ac, b-c, or a-b-c. Also, multiple instances of any element may be included, such as a-a, a-b-b, a-a-b-b-c-c, and so on. It also includes the addition of other elements than the listed elements (a, b and c), such as having d such as a-b-c-d.
  • connection and “coupled” when used, they refer to direct connection/coupling, indirect connection/coupling , electrically connected/coupled, communicatively connected/coupled, operatively connected/coupled, physically connected/coupled, etc. intended as a term.
  • the term should be interpreted appropriately according to the context in which the term is used, but any form of connection/bonding that is not intentionally or naturally excluded is not included in the term. should be interpreted restrictively.
  • the physical structure of element A is such that it is capable of performing operation B. configuration, including that a permanent or temporary setting/configuration of element A is configured/set to actually perform action B good.
  • element A is a general-purpose processor
  • the processor has a hardware configuration capable of executing operation B, and operation B is performed by setting a permanent or temporary program (instruction). It just needs to be configured to actually run.
  • the element A is a dedicated processor or a dedicated arithmetic circuit, etc., regardless of whether or not control instructions and data are actually attached, the circuit structure of the processor actually executes the operation B. It just needs to be implemented.
  • finding a global optimum finding an approximation of a global optimum, finding a local optimum, and finding a local optimum It includes approximations of values and should be interpreted accordingly depending on the context in which the term is used. It also includes stochastically or heuristically approximating these optimum values.
  • each piece of hardware may work together to perform the predetermined processing, or a part of the hardware may perform the predetermined processing. You may do all of Also, some hardware may perform a part of the predetermined processing, and another hardware may perform the rest of the predetermined processing.
  • the hardware that performs the first process and the hardware that performs the second process may be the same or different. In other words, the hardware that performs the first process and the hardware that performs the second process may be included in the one or more pieces of hardware.
  • hardware may include an electronic circuit or a device including an electronic circuit.
  • each storage device (memory) among the plurality of storage devices (memories) stores only part of the data. may be stored, or the entirety of the data may be stored.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

実施形態の情報処理装置は、統合部と、推定部とを備える。統合部は、自律移動ロボットの周囲を撮像する撮像装置、自律移動ロボットの周囲に位置する物体との距離を測距する測距センサ、自律移動ロボットの角速度及び加速度を計測する計測センサのそれぞれから、所定の期間の情報を取得する。推定部は、撮像装置、測距センサ、計測センサのそれぞれによって並行して同期間に得られる情報に基づいて、自己位置の推定及び地図情報の生成を実行する。

Description

情報処理装置および自律移動ロボット
　本発明の実施形態は、情報処理装置および自律移動ロボットに関する。
　従来、センサによるセンシング結果や撮像画像から周囲の物体の位置および形状を認識することによって、自己位置を推定すると共に地図情報を生成するロボット等が知られている。
　さらに高精度に自己位置の推定および地図情報の生成をすることが求められている。
　実施形態の情報処理装置は、統合部と、推定部とを備える。統合部は、自律移動ロボットの周囲を撮像する撮像装置、自律移動ロボットの周囲に位置する物体との距離を測距する測距センサ、自律移動ロボットの角速度及び加速度を計測する計測センサのそれぞれから、所定の期間の情報を取得する。推定部は、撮像装置、測距センサ、計測センサのそれぞれによって並行して同期間に得られる情報に基づいて、自己位置の推定及び地図情報の生成を実行する。
図１は、実施形態に係る自律移動ロボットの外観の一例を示す図である。 図２は、実施形態に係る自律移動ロボットを側方から見た模式図の一例を示す図である。 図３は、実施形態に係る自律移動ロボットを上方から見た模式図の一例を示す図である。 図４は、実施形態に係る自律移動ロボットを側方から見た模式図の他の一例を示す図である。 図５は、実施形態に係るコントローラが備える機能の一例を示すブロック図である。 図６は、実施形態に係る処理の流れの一例を示すフローチャートである。
　図１は、実施形態に係る自律移動ロボット１の外観の一例を示す図である。図１に示すように、自律移動ロボット１は、本体部２と、カメラ７と、ＬｉＤＡＲ（Light　Detection　and　Ranging、またはLaser　Imaging　Detection　and　Ranging）８と、複数の車輪５とを備える。
　カメラ７は、自律移動ロボット１の周囲を撮像可能な撮像装置の一例である。本実施形態においては、カメラ７は、広い範囲を撮像可能とするため広角レンズを備えた単眼カメラである。広範囲を撮像可能な広角レンズには、魚眼レンズを含む。
　また、カメラ７は、複数備えられていてもよく、例えばステレオカメラでも良い。また、ＲＧＢ（Red　Green　Blue）カメラと３次元計測カメラ（Ｄｅｐｔｈカメラ）とを有するＲＧＢ－Ｄカメラ、またはモノクロカメラであってもよい。
　ＬｉＤＡＲ８は、自律移動ロボット１の周囲に位置する物体との距離を測距する測距センサの一例である。ＬｉＤＡＲ８は、レーザ光を用いて、周囲の３次元の点群までの距離を計測する。なお、本実施形態における測距センサはＬｉＤＡＲ８に限定されるものではなく、ＴＯＦ（Time　Of　Flight）、またはその他のアクティブ系、パッシブ系の測距センサであっても良い。
　自律移動ロボット１は左右に２つずつ、合計で４つの車輪５を備える。車輪５は本体部２を支持し、車輪５の回転により、本体部２が移動可能である。車輪５は、本実施形態における移動装置の一例である。
　自律移動ロボット１は、リアルタイムに自己位置および周辺環境を認識しながら自律移動する。
　図２は、実施形態に係る自律移動ロボット１を側方から見た模式図の一例である。図２に示すように、本体部２の内部には、コントローラ３とＩＭＵ（Inertial　Measurement　Unit）センサ９とが含まれる。
　コントローラ３は、本実施形態における情報処理装置の一例であり、ＳＬＡＭ（Simultaneous　Localization　and　Mapping、またはSimultaneously　Localization　and　Mapping）処理および地図上における自己の絶対位置推定の処理を実行する。コントローラ３の機能については後述する。なお、本実施形態において、「自律移動ロボット１の位置」と「コントローラ３の位置」は略同じ位置を指すものとする。
　ＩＭＵ（Inertial　Measurement　Unit）センサ９は、角速度と加速度とを計測するセンサの一例である。ＩＭＵセンサは、例えば、ジャイロセンサおよび加速度センサ等が統合されたセンサであり、自律移動ロボット１の角速度と加速度とを計測する。
　また、カメラ７によって撮像される第１の領域Ｒ７と、ＬｉＤＡＲ８による測距対象である第２の領域Ｒ８とは、取得データにおいて少なくとも一部が互いに重複する。
　また、図３は、実施形態に係る自律移動ロボット１を上方から見た模式図の一例である。図３に記載のように、本実施形態のＬｉＤＡＲ８は周囲３６０°を測距対象とする３次元ＬｉＤＡＲである。なお、ＬｉＤＡＲ８の測距対象である第２の領域Ｒ８の大きさはおよび位置は一例であり、３６０°以下の範囲を測距対象とするものでもよい。
　また、図２、３に示すように、本実施形態のカメラ７は自律移動ロボット１の進行方向を撮像する。なお、カメラ７の第１の領域Ｒ７の向きおよび位置は一例であり、必要な情報が取得可能であればよい。
　図４は、実施形態に係る自律移動ロボット１を側方から見た模式図の他の一例である。図４に示す例では、ＬｉＤＡＲ８１は２次元ＬｉＤＡＲである。自律移動ロボット１は、３次元ＬｉＤＡＲであるＬｉＤＡＲ８と２次元ＬｉＤＡＲであるＬｉＤＡＲ８１のいずれを備えても良い。
　なお、図１～４に例示したカメラ７、ＬｉＤＡＲ８、およびＬｉＤＡＲ８１の位置および数は一例である。
　次に本実施形態の自律移動ロボット１に搭載されるコントローラ３の機能について説明する。
　図５は、実施形態に係るコントローラ３が備える機能の一例を示すブロック図である。図５に示すように、コントローラ３は統合部３１と、フロントエンド３３と、バックエンド３５とを備える。なお、図５に示すブロック間を接続する矢印の向きは制御またはデータアクセスの処理の送信元から送信先を向く。
　統合部３１は、カメラ７、ＬｉＤＡＲ８（またはＬｉＤＡＲ８１）、およびＩＭＵセンサ９から、所定の期間の情報を取得する。この所定の期間は、第１時刻から第２時刻の間、また所定時刻ｔから所定時刻ｔ＋１の間、または所定時刻ｔから所定時刻ｔ＿｛ｉ＋１｝の間と言い換えることもできる。より詳細には、統合部３１は、カメラ７、ＬｉＤＡＲ８、およびＩＭＵセンサ９から情報を取得する際に、所定の時間間隔の区間を１フレームと定義し、当該１フレームの期間ごとに、カメラ７、ＬｉＤＡＲ８、およびＩＭＵセンサ９によって得られた情報を、対応付けて収集する。
　本実施形態においては、統合部３１は、カメラ７、ＬｉＤＡＲ８（またはＬｉＤＡＲ８１）、およびＩＭＵセンサ９からのデータを順に取得するのではなく、同時にこれらの複数のセンサによるセンシング結果を取得する。
　フロントエンド３３およびバックエンド３５は、本実施形態における推定部の一例である。フロントエンド３３およびバックエンド３５は、カメラ７、ＬｉＤＡＲ８、およびＩＭＵセンサ９によって並行して同期間に得られた情報に基づいて、自己位置の推定と地図情報の生成とを実行するＳＬＡＭ（Simultaneous　Localization　and　Mapping、またはSimultaneously　Localization　and　Mapping）処理を実行する。
　フロントエンド３３は、統合部３１によってカメラ７、ＬｉＤＡＲ８、およびＩＭＵセンサ９から収集された情報への事前処理を行い、バックエンド３５は、フロントエンド３３で実行された処理の結果に基づいて、地図上における自律移動ロボット１の位置を推定する。
　処理詳細には、フロントエンド３３は、事前積分部３３０と、トラッキング部３３２と、キャリブレーションデータ３３４とを備える。
　事前積分部３３０は、統合部３１からＩＭＵに関する生データを取得し、当該生データを事前積分する。一般的にＩＭＵの計測結果の方がカメラ７で撮像された画像データよりもデータ量が多くなるため、事前積分部３３０によって積分処理を行う。
　トラッキング部３３２は、カメラ７によって撮像された複数のフレームを含む画像データから抽出した点群をトラッキング処理する。トラッキング部３３２は、統合部３１から画像データと距離データを取得し、距離データを用いて画像データに含まれる点群をトラッキングする。画像データはカメラ７で撮像された画像データである。また、距離データは、ＬｉＤＡＲ８の測距結果である。なお、トラッキング部３３２は、画像データから抽出される点群と、距離データを構成する点群データとは、同様の点群データとして扱うものとする。
　トラッキング部３３２は、トラッキング処理における点群の距離の初期値を、ＬｉＤＡＲ８から得られた測距結果に基づいて決定する。これにより、トラッキングの際の初期値の取り得る範囲が限定されるため、トラッキング処理が効率化される。
　また、トラッキング部３３２は、ＬｉＤＡＲ８の可測範囲外に位置する点の距離の初期値については、カメラ７によって撮像された複数のフレームを含む画像データに基づくステレオ処理によって得る。トラッキング部３３２はカメラ７がステレオカメラである場合、当該ステレオカメラのステレオ視差を利用して算出する。また、トラッキング部３３２はカメラ７が単眼カメラである場合、自律移動ロボット１が移動しながら撮像した異なるフレームの画像によってステレオ処理を実行してもよい。
　また、トラッキング部３３２は、画像データと距離データに含まれる３次元点群データのキャリブレーションに用いるキャリブレーションデータ３３４を処理に用いる。
　また、トラッキング部３３２は、事前積分部３３０から、積分されたＩＭＵデータを取得する。
　また、トラッキング部３３２は、推定が安定したと判断し最適化から除外した「マージナライズされたフレーム」を生成する。
　バックエンド３５は、フロントエンド３３の処理結果に基づいて、事前マップ３５６上の自律移動ロボット１の絶対位置を推定する。
　より詳細には、バックエンド３５は、ＡＲ（Augmented　Reality）マーカー検出部３５０と、ＡＲマーカーマップ３５２と、画像取得部３５４と、事前マップ３５６と、ポーズグラフ最適化部３５８を備える。
　ＡＲマーカー検出部３５０は、自律移動ロボット１の周囲に設定されたＡＲマーカーを検出する。ＡＲマーカー検出部３５０は、トラッキング部３３２から「マージナライズされたフレーム」を読み出し、ＡＲマーカーマップ３５２に基づいて、自律移動ロボット１の位置を推定する。
　画像取得部３５４は、トラッキング部３３２から「マージナライズされたフレーム」を読み出す。また、画像取得部３５４は、事前マップ３５６から地図の画像データを取得する。事前マップ３５６は、本実施形態における「情報処理装置の周囲を含む地図」の一例である。
　ポーズグラフ最適化部３５８は、トラッキング部３３２から相対位置を取得し、ＡＲマーカー検出部３５０から絶対位置を取得し、画像取得部３５４から相対位置を取得する。ポーズグラフ最適化部３５８は、取得した情報に基づいて自律移動ロボット１の絶対位置を修正する。ポーズグラフ最適化部３５８は、修正後の絶対位置をユーザＵに提示する。修正後の絶対位置は、地図上に対応付けられる。このような地図における自己位置推定を、Ｌｏｃａｌｉｚａｔｉｏｎという。
　また、トラッキング部３３２は、自律移動ロボット１の相対位置を、ユーザＵに提示する。
　このように、本実施形態のコントローラ３は、カメラ７、ＬｉＤＡＲ８、およびＩＭＵセンサ９から、時間的な同期をとって情報を取得し、カメラ７、ＬｉＤＡＲ８（またはＬｉＤＡＲ８１）、およびＩＭＵセンサ９から、時間的な同期をとった情報の取得によって並行して同期間に得られた情報に基づいて、自己位置の推定と地図情報の生成とを実行する。このため、本実施形態のコントローラ３によれば、マルチセンサ（例えばカメラ７、ＬｉＤＡＲ８、およびＩＭＵセンサ９）を統合したことにより、高精度な自己位置推定結果を得ることができる。すなわち、高精度に自己位置の推定および地図情報の生成をすることができる。
　本実施形態のコントローラ３は、カメラ７から得られる画像の情報、ＬｉＤＡＲ８（またはＬｉＤＡＲ８１）から得られる点群の情報、およびＩＭＵセンサ９から得られる情報に基づいてそれらを同時最適化することで相対位置姿勢を推定する。
　すなわち、コントローラ３（トラッキング部３３２）は、カメラ７から得られる画像データ、ＬｉＤＡＲ８（またはＬｉＤＡＲ８１）から得られる点群データ（距離データ）、ＩＭＵセンサ９から得られるＩＭＵデータに基づいて計算される目的関数Ｅ（Ｔ）を相対位置姿勢の推定値Ｔに関して最小化（最適化）することで、この目的関数Ｅ（Ｔ）を最小化する推定値Ｔを計算する。このようにして計算された相対位置姿勢の推定値Ｔが自己位置の推定および地図情報の生成に用いられる。なお、この目的関数Ｅ（Ｔ）は、キーフレームから現在フレームへの位置姿勢の変化（すなわちフレーム間の相対位置姿勢）の推定値Ｔが最適値に近づけば値が小さくなるように設計される、相対位置姿勢の推定値Ｔの関数であり、各フレームの画像データ、距離データ（点群データ）、ＩＭＵデータに基づいて計算される。この目的関数Ｅ（Ｔ）は、一例として、画像データに関する関数Ｅ＿ｃ（Ｔ）、距離データ（点群データ）に関する関数Ｅ＿ｌ（Ｔ）、ＩＭＵデータに関する関数Ｅ＿ｉ（Ｔ）の和である。これら関数Ｅ＿ｃ、Ｅ＿ｌ、Ｅ＿ｉは、それぞれ、相対位置姿勢の推定値Ｔの関数である。画像データに関する関数Ｅ＿ｃ（Ｔ）は、画像データから推定される相対位置姿勢の推定値Ｔが最適値に近づけば値が小さくなるような誤差関数であり、画像データに基づいて計算される誤差関数である。Ｅ＿ｃ（Ｔ）は、適宜設計されてよく、一例として、推定値Ｔを用いて計算されるフレーム間の画像データの測光誤差の関数である。距離データに関する関数Ｅ＿ｌ（Ｔ）は、距離データ（点群データ）から推定される相対位置姿勢の推定値Ｔが最適値に近づけば値が小さくなるような誤差関数であり、距離データ（点群データ）に基づいて計算される誤差関数である。Ｅ＿ｌ（Ｔ）は、適宜設計されてよく、一例として、ＩＣＰ（Iterative　Closest　Point）アルゴリズムで用いられる、推定値Ｔを用いて計算される２フレームの点群データ間の対応点どうしの距離の二乗誤差の関数である。ＩＭＵデータに関する関数Ｅ＿ｉは、フレーム間に取得されたＩＭＵの観測値（加速度及び角速度）を積分した相対位置姿勢の観測値と推定値Ｔが近づけば値が小さくなるような誤差関数であり、ＩＭＵデータに基づいて計算される誤差関数である。Ｅ＿ｉ（Ｔ）は、適宜設計されて良い。ここで、Ｅ＿ｉ（Ｔ）としては、例えば、公知である非特許文献「　C.　Forster　et.　al.,“On-Manifold　Preintegration　for　Real-Time　Visual-Inertial　Odometry,”　arXiv:1512.02363,　30　Oct　2016,　https://arxiv.org/abs/1512.02363」に記載の式（２６）の２行目のａｒｇｍｉｎ関数の引数の第２項目に示される残差等を適用できる。上記非特許文献の内容全体は参照により本明細書に援用される。
　なお、上述のとおり、画像から得られる情報を最適化する式は、得られたフレーム間の測光誤差を最小化する問題として定式化され、その際に点群を画像に逆投影するが、本実施形態においては点群の距離値の初期値を画像からではなく、ＬｉＤＡＲ８から得られた情報からも推定している。具体的には、カメラ７とＬｉＤＡＲ８の情報の取得可能な範囲が重なっている領域の情報は、ＬｉＤＡＲ８から取得し、それ以外の領域（つまり、ＬｉＤＡＲ８からの情報取得が困難な範囲であって、カメラ７のみが情報の取得が可能な範囲）に関してはカメラ７を用いてステレオ視（両眼、もしくは時系列ステレオ）により取得ことができる。また、上述の実施形態においては、直接法を用いて説明したが、画像上からあらかじめ特徴点を取得してから行う間接法を用いても良い。
　また、測定精度が高いが長時間の測定が困難なＩＭＵセンサ９と、壁と向き合った場合など、環境によって測定精度が落ちる場合があるＬｉＤＡＲ８と、比較的広範囲の撮像が可能で、例えば壁と向き合ってＬｉＤＡＲ８では情報が適切に取得できない場合であっても、天井等別の物体を撮影可能な広角レンズを備えるカメラ７とを組み合わせることで、比較的多様な環境に対応しつつも、高精度に自己位置の推定および地図情報の生成をすることができる。
　また、本実施形態では、トラッキング部３３２は、トラッキング処理における点群の距離の初期値をＬｉＤＡＲ８から得られた測距結果に基づいて決定する。これにより、トラッキング処理における点までの距離の推定の処理負荷を軽減することができる。
　本実施形態では、図６のフローチャートに示す通り、自律移動ロボット１に備えられたセンサから情報を取得し（Ｓ１）、当該情報に基づいてＳＬＡＭ処理を行い（Ｓ２）、得られた自己位置推定結果と地図情報に基づいて自律移動ロボットを移動させる（Ｓ３）、という各処理を実行することができる。
　別の実施形態では、上述の自己位置の推定及び地図情報の生成を行う情報処理装置と、各センサを備え、情報処理装置と通信可能な自律移動ロボットとを備える情報処理装置システムとすることができる。
　前述したコントローラ３の一部又は全部は、ハードウェアで構成されていてもよいし、ＣＰＵ（Central　Processing　Unit）、又はＧＰＵ（Graphics　Processing　Unit）等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact　Disc-Read　Only　Memory）、又はＵＳＢ（Universal　Serial　Bus）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアがＡＳＩＣ（Application　Specific　Integrated　Circuit）、又はＦＰＧＡ（Field　Programmable　Gate　Array）等の回路に実装されることにより、情報処理がハードウェアにより実行されてもよい。
　ソフトウェアを収納する記憶媒体の種類は限定されるものではない。記憶媒体は、磁気ディスク、又は光ディスク等の着脱可能なものに限定されず、ハードディスク、又はメモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし、コンピュータ外部に備えられてもよい。
　また、コントローラ３は、一例として、プロセッサと、主記憶装置（メモリ）と、補助記憶装置（メモリ）と、ネットワークインタフェースと、デバイスインタフェースと、を備え、これらがバスを介して接続されたコンピュータとして実現されてもよい。
　前述したコントローラ３の各種演算は、１又は複数のプロセッサを用いて、又は、ネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコントローラ３と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実行されてもよい。このように、前述した実施形態における各装置は、１台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。
　プロセッサは、コンピュータの制御装置及び演算装置を含む電子回路（処理回路、Processing　circuit、Processing　circuitry、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、又はＡＳＩＣ等）であってもよい。また、プロセッサは、専用の処理回路を含む半導体装置等であってもよい。プロセッサは、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサは、量子コンピューティングに基づく演算機能を含むものであってもよい。
　プロセッサは、コントローラ３の内部構成の各装置等から入力されたデータやソフトウェア（プログラム）に基づいて演算処理を行い、演算結果や制御信号を各装置等に出力することができる。プロセッサは、コントローラ３のＯＳ（Operating　System）や、アプリケーション等を実行することにより、コントローラ３を構成する各構成要素を制御してもよい。
　前述したコントローラ３は、１又は複数のプロセッサにより実現されてもよい。ここで、プロセッサは、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいは２つ以上のデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
　本明細書（請求項を含む）において、「a、b及びcの少なくとも1つ（一方）」又は「a、b又はcの少なくとも1つ（一方）」の表現（同様な表現を含む）が用いられる場合は、a、b、c、a-b、a-c、b-c、又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素（a、b及びc）以外の他の要素を加えることも含む。
　本明細書（請求項を含む）において、「データを入力として／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を入力として用いる場合を含む。また「データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、要因、条件、及び／又は状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を出力とする場合も含む。
　本明細書（請求項を含む）において、「接続される（connected）」及び「結合される（coupled）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
　本明細書（請求項を含む）において、「ＡがＢするよう構成される（A　configured　to　B）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）又は一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）又は一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Ｂを実際に実行するように構築（implemented）されていればよい。
　本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（comprising/including）」及び「有する（having）」等）が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
　本明細書（請求項を含む）において、ある箇所において「１つ又は複数（one　or　more）」又は「少なくとも１つ（at　least　one）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。
　本明細書において、ある実施例の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件、及び／又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件、及び／又は状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
　本明細書（請求項を含む）において、「最大化（maximize）」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること、及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化（minimize）」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること、及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化（optimize）」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。
　本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は電子回路を含む装置等を含んでよい。
　本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置（メモリ）のうち個々の記憶装置（メモリ）は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。
　以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した全ての実施形態において、数値又は数式を説明に用いている場合は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。
　１　自律移動ロボット
　２　本体部
　３　コントローラ
　５　車輪
　７　カメラ
　９　ＩＭＵセンサ
　３１　統合部
　３３　フロントエンド
　３５　バックエンド
　３３０　事前積分部
　３３２　トラッキング部
　３３４　キャリブレーションデータ
　３５０　ＡＲマーカー検出部
　３５２　ＡＲマーカーマップ
　３５４　画像取得部
　３５６　事前マップ
　３５８　ポーズグラフ最適化部
　Ｒ７　第１の領域
　Ｒ８　第２の領域
　Ｕ　ユーザ

Claims (16)

  1. 　自律移動ロボットの周囲を撮像する撮像装置、前記自律移動ロボットの周囲に位置する物体との距離を測距する測距センサ、前記自律移動ロボットの角速度及び加速度を計測する計測センサのそれぞれから、所定の期間の情報を取得する統合部と、
    　前記撮像装置、前記測距センサ、前記計測センサのそれぞれによって並行して同期間に得られる情報に基づいて、自己位置の推定及び地図情報の生成を実行する推定部と、
    　を備える情報処理装置。
  2. 　前記推定部は、前記撮像装置、前記測距センサ、前記計測センサのそれぞれによって得られる前記情報に基づく同時最適化を行うことで、前記自律移動ロボットの位置姿勢を推定する、請求項１に記載の情報処理装置。
  3. 　前記推定部は、前記撮像装置、前記測距センサ、前記計測センサのそれぞれによって得られる前記情報に基づいて計算される目的関数を最適化する前記同時最適化を行う、
    　請求項２に記載の情報処理装置。
  4. 　前記目的関数は、前記撮像装置によって得られる前記情報に基づいて計算される誤差関数、前記測距センサによって得られる前記情報に基づいて計算される誤差関数、前記計測センサによって得られる前記情報に基づいて計算される誤差関数、の和である、
    　請求項３に記載の情報処理装置。
  5. 　前記推定部は、前記計測センサによって計測された角速度及び加速度に対して積分処理を行い、自己位置の推定及び地図情報の生成において当該積分処理で得られるデータを用いる、
    　請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　前記測距センサはＬｉＤＡＲである、
    　請求項１から５のいずれか１項に記載の情報処理装置。
  7. 　前記計測センサはＩＭＵ（Inertia　Measurement　Unit）である、
    　請求項１から６のいずれか１項に記載の情報処理装置。
  8. 　前記撮像装置は単眼カメラである、
    　請求項１から７のいずれか１項に記載の情報処理装置。
  9. 　前記撮像装置によって撮像される第１の領域と、前記測距センサによる測距対象である第２の領域とは、同時刻において少なくとも一部が互いに重複する、
    　請求項１から８のいずれか１項に記載の情報処理装置。
  10. 　前記推定部は、前記撮像装置によって撮像された複数のフレームを含む画像データから抽出した点群をトラッキング処理するトラッキング部、を含み、
    　前記トラッキング部は、前記測距センサから得られた測距結果を用いて、前記抽出した点群をトラッキングする、
    　請求項１から９のいずれか１項に記載の情報処理装置。
  11. 　前記トラッキング部は、前記トラッキング処理における前記点群の距離の初期値を前記測距センサから得られる測距結果に基づいて決定する、
    　請求項１０に記載の情報処理装置。
  12. 　前記トラッキング部は、前記測距センサの可測範囲外に位置する点の距離の初期値については、前記撮像装置によって撮像される複数のフレームを含む画像データに基づくステレオ処理によって得る、
    　請求項１１に記載の情報処理装置。
  13. 　前記統合部は、前記撮像装置、前記測距センサ、前記計測センサのそれぞれから情報を取得する際に、所定の時間間隔の区間を１フレームと定義し、当該１フレームの期間ごとに、前記撮像装置、前記測距センサ、前記計測センサのそれぞれによって得られる情報を、対応付けて収集する、
    　請求項１から１２のいずれか１項に記載の情報処理装置。
  14. 　前記推定部は、前記統合部によって前記撮像装置、前記測距センサ、前記計測センサのそれぞれから収集される情報に基づいて、前記地図情報の生成を実行し、
    　前記自律移動ロボットの周囲を含む地図と、前記推定された自己の相対位置と、に基づいて、前記地図における自己の絶対位置を推定する、
    　請求項１から１３のいずれか１項に記載の情報処理装置。
  15. 　前記情報処理装置は、前記自律移動ロボットに搭載される、請求項１から１４のいずれか１項に記載の情報処理装置。
  16. 　請求項１から１４のいずれか１項に記載の情報処理装置と、
    　前記自律移動ロボットの周囲を撮像する前記撮像装置と、
    　前記自律移動ロボットの周囲に位置する物体との距離を測距する前記測距センサと、
    　前記自律移動ロボットの角速度と加速度とを計測する前記計測センサと、
    　前記自律移動ロボットを移動させるための移動装置と、
    　を備える自律移動ロボット。
PCT/JP2022/009225 2021-03-03 2022-03-03 情報処理装置および自律移動ロボット WO2022186354A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021033862 2021-03-03
JP2021-033862 2021-03-03

Publications (1)

Publication Number Publication Date
WO2022186354A1 true WO2022186354A1 (ja) 2022-09-09

Family

ID=83155392

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/009225 WO2022186354A1 (ja) 2021-03-03 2022-03-03 情報処理装置および自律移動ロボット

Country Status (1)

Country Link
WO (1) WO2022186354A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007232688A (ja) * 2006-03-03 2007-09-13 Mitsubishi Electric Corp Ｇｐｓ妨害波抑制装置、及びｇｐｓ妨害波抑制システム
JP2007322138A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp 移動装置及び移動装置の自己位置推定方法
JP2012103819A (ja) * 2010-11-08 2012-05-31 Fujitsu Ltd 位置推定方法、位置推定装置及びプログラム
JP2017010082A (ja) * 2015-06-16 2017-01-12 株式会社パスコ 地図作成装置、地図作成方法、およびモービルマッピング用計測装置
WO2017057054A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017138219A (ja) * 2016-02-04 2017-08-10 株式会社デンソー 物体認識装置
WO2020226085A1 (ja) * 2019-05-09 2020-11-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007232688A (ja) * 2006-03-03 2007-09-13 Mitsubishi Electric Corp Ｇｐｓ妨害波抑制装置、及びｇｐｓ妨害波抑制システム
JP2007322138A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp 移動装置及び移動装置の自己位置推定方法
JP2012103819A (ja) * 2010-11-08 2012-05-31 Fujitsu Ltd 位置推定方法、位置推定装置及びプログラム
JP2017010082A (ja) * 2015-06-16 2017-01-12 株式会社パスコ 地図作成装置、地図作成方法、およびモービルマッピング用計測装置
WO2017057054A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017138219A (ja) * 2016-02-04 2017-08-10 株式会社デンソー 物体認識装置
WO2020226085A1 (ja) * 2019-05-09 2020-11-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN112785702B (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9386209B2 (en) Method and apparatus for estimating position
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US20160260250A1 (en) Method and system for 3d capture based on structure from motion with pose detection tool
JP2019536012A (ja) 可変コントラスト追跡残余を用いる視覚慣性ナビゲーション
Scherer et al. Using depth in visual simultaneous localisation and mapping
WO2015134795A2 (en) Method and system for 3d capture based on structure from motion with pose detection tool
KR20150144729A (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
WO2020221307A1 (zh) 一种运动物体的追踪方法和装置
KR20150144728A (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR20150144726A (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101658578B1 (ko) 복합 센서의 캘리브레이션 장치 및 방법
US20210268659A1 (en) Spatially-Aware Camera and Method Thereof
CN110598370B (zh) 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计
JP2014053018A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
WO2022186354A1 (ja) 情報処理装置および自律移動ロボット
WO2022014322A1 (ja) 情報処理システム、及び情報処理装置
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
US20210402616A1 (en) Information processing apparatus, information processing method, mobile robot, and non-transitory computer-readable storage medium
KR102555269B1 (ko) 전방향 영상센서 및 관성측정센서의 자세추정 융합 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22763406

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22763406

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP