WO2019216005A1 - 自己位置推定システム、自律移動システム及び自己位置推定方法 - Google Patents

自己位置推定システム、自律移動システム及び自己位置推定方法 Download PDF

Info

Publication number
WO2019216005A1
WO2019216005A1 PCT/JP2019/007886 JP2019007886W WO2019216005A1 WO 2019216005 A1 WO2019216005 A1 WO 2019216005A1 JP 2019007886 W JP2019007886 W JP 2019007886W WO 2019216005 A1 WO2019216005 A1 WO 2019216005A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
self
position estimation
state feature
feature amount
Prior art date
Application number
PCT/JP2019/007886
Other languages
English (en)
French (fr)
Inventor
祐樹 金山
泰士 上田
一野瀬　亮子
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2019216005A1 publication Critical patent/WO2019216005A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present invention relates to a technique of a self-position estimation system, an autonomous movement system, and a self-position estimation method.
  • a self-position is estimated by comparing a reference image acquired in advance with an actual image acquired when the robot moves.
  • One of the problems with such a technique is that the matching accuracy between the reference image and the actual image decreases when the surrounding environment such as brightness and weather changes.
  • Patent Document 1 there is Patent Document 1 as a countermeasure against such a problem.
  • Robot 1 inputs image data obtained by imaging an object existing in the work environment by camera unit 101, and measures the distance from the object present in the work environment by laser range finder 107.
  • the reprojection error calculation unit 103 detects the position of the landmark detected from the image data on the image and the work space included in the map information stored in the storage unit 106. A re-projection error between the position of the landmark and the re-projected position on the image data is calculated, and ii) the position error calculation unit calculates a registration error between the range data and the shape data included in the map information.
  • the optimization unit 109 determines an objective function including the reprojection error and the alignment error according to the surrounding environment of the robot 1, and determines the determined objective function as the maximum. It turned into a self-position estimation method of calculating to "mobile device and the mobile device its own position of the robot 1 is disclosed (see Abstract).
  • the present invention has been made in view of such a background, and an object of the present invention is to provide a self-position estimation system, an autonomous movement system, and a self-position estimation method that are robust against environmental changes.
  • the present invention provides an imaging unit that captures an environment around a moving body, a state feature amount acquisition unit that acquires a state feature amount at the time of imaging by the imaging unit, and the state feature amount, Based on the image captured by the imaging unit, a learning processing unit for generating parameter information, which is information for deriving an optimum value of a parameter used for self-position estimation, by a learning process, and the imaging unit captured
  • the parameter is calculated using an image of the current surrounding environment, the current state feature amount acquired by the state feature amount acquisition unit, and the parameter information, and self-position estimation processing is performed based on the calculated parameter.
  • a self-position estimation unit for performing Other solutions are described as appropriate in the embodiments.
  • the present invention it is possible to provide a self-position estimation system, an autonomous movement system, and a self-position estimation method that are robust against environmental changes.
  • FIG. 10 is a diagram (No. 1) illustrating a procedure for virtually generating an image captured by a camera with a narrow viewing angle. It is FIG. (2) which shows the procedure which produces
  • the self-position estimation system of this embodiment automatically changes the values of various parameters used for calculation of self-position estimation to values suitable for the changed surrounding environment when the surrounding environment such as brightness and weather changes. adjust. By doing in this way, the self-position estimation system of this embodiment makes it possible to prevent deterioration of self-position estimation accuracy.
  • the self-position estimation system according to the present embodiment uses a parameter operation formula for calculating a parameter corresponding to the environment in order to automatically calculate the parameter. Further, the parameter operation formula is generated by the learning device learning based on data collected in advance by a camera or the like.
  • FIG. 1 is a diagram illustrating a configuration example of a self-position estimation system Z according to the first embodiment.
  • the self-position estimation system (autonomous movement system) Z includes a moving body 1 and a learning device 2.
  • the moving body 1 includes a camera (imaging unit) 11, a state information acquisition unit 12, a self-position estimation result display unit 13, an operation input unit 14, a calculation unit 15, and a storage unit 16.
  • the camera 11 acquires an image.
  • the camera 11 is composed of one or more cameras. Each camera 11 includes an image sensor such as a CCD image sensor or a CMOS image sensor. Digital images obtained by imaging the outside world with these cameras 11 are output to the state feature quantity acquisition unit 151, the self-position estimation unit 153, and the learning data temporary storage unit 161.
  • the camera 11 In order to capture a wide range of driving environments, it is desirable to mount a plurality of cameras 11 or a camera 11 having a wide-angle lens or a super-wide-angle lens. Furthermore, when traveling in a dark place such as at night, it is desirable to install an infrared camera. In addition, when a plurality of cameras 11 are mounted, it is desirable to mount them at positions where the periphery of the moving body 1 can be imaged uniformly. Further, when the camera 11 having a wide-angle lens or a super-wide-angle lens is mounted, it is desirable that the camera 11 is mounted at the highest position of the moving body 1 and upward. By mounting the camera 11 in this manner, robustness can be improved. Furthermore, it is desirable to fix the camera 11 so that it does not move during mounting. However, when a system for constantly grasping the posture of the camera 11 is installed, the posture of the camera 11 may not be fixed. Further, the image captured by the camera 11 may be a color image or a gray scale image.
  • the state information acquisition unit 12 acquires a sensing state (state information). Specifically, the state information acquisition unit 12 acquires state information (hereinafter referred to as state information) from an image or the like acquired by the camera 11. The state is, for example, the brightness of the image. If the mobile unit 1 is connected to the Internet, the state information acquisition unit 12 acquires information about external elements such as weather as state information.
  • the state information includes information related to internal elements of the moving body 1 such as the viewing angle of the camera 11. Information relating to the internal elements of the moving body 1 is obtained, for example, through input from a keyboard (that is, manual input by a user), description of a setting file, and the like.
  • the self-position estimation result display unit 13 is a display or the like that displays the self-position estimation result.
  • the self-position estimation result display unit 13 receives the current self-position information such as the position and posture of the moving body 1 from the self-position estimation unit 153, thereby displaying the position and posture of the moving body 1.
  • the position / orientation may be displayed with an arrow or a point on the surrounding map, or a numerical value calculated based on a specific origin may be displayed.
  • the self-position estimation result display unit 13 is mounted on the moving body 1, but may be mounted on a control PC or the like (not shown).
  • the motion input unit 14 is an interface for giving a movement command to the moving body 1 by a human, such as a handle, an accelerator pedal, or a joystick.
  • the motion input unit 14 may be one in which a destination is designated on a map displayed on a tablet, or may be one in which coordinates of a destination are directly input by a keyboard.
  • the motion input unit 14 is used when manually operating the mobile body 1 to collect map data and learning data to be described later.
  • the mobile body 1 performs autonomous movement, when collecting map data and learning data, a user performs operation using the operation input unit 14.
  • the calculation unit 15 includes a state feature amount acquisition unit 151, a parameter operation amount calculation unit 152, a self-position estimation unit 153, and an operation control unit 154.
  • a program is stored in the storage unit 16 of the mobile body 1. This program is loaded into a memory (not shown) and executed by a CPU (Central Processing Unit) (not shown). Thereby, the state feature amount acquisition unit 151, the parameter operation amount calculation unit 152, the self-position estimation unit 153, and the motion control unit 154 are realized.
  • a CPU Central Processing Unit
  • the state feature amount acquisition unit 151 converts the state information obtained by the state information acquisition unit 12 into a state feature amount.
  • the state feature amount is an index that quantitatively indicates the state by one or more numerical values. In learning in the learning device 2, a learning calculation is performed by using the state feature amount. For example, information expressed in a low dimension such as the height and viewing angle of the camera 11 is used as a state feature amount as it is.
  • the state feature amount acquisition unit 151 also acquires a state feature amount from an image acquired from the camera 11. Note that information expressed in a high dimension such as an image is converted into information expressed in a low dimension such as an index of brightness (luminance) of the image and a ratio of obstacles in the screen. Incidentally, the brightness acquired by the state information acquisition unit 12 is the brightness of the surrounding environment.
  • the parameter operation amount calculation unit 152 calculates the parameter u based on the coefficient matrix W, the shift amount b, and the state feature amount x learned by the learning device 2. The processing performed by the parameter operation amount calculation unit 152 will be described later.
  • the self-position estimation unit 153 performs self-position estimation using the current image acquired by the camera 11 and the input parameter u.
  • the motion control unit 154 controls the actuator of the mobile unit 1 according to the current self-position information such as the position and orientation of the mobile unit 1 input from the self-position estimation unit 153 and the movement command input from the operation input unit 14. .
  • the storage unit 16 includes a learning data temporary storage unit 161 and a parameter operation expression storage unit 162.
  • the learning data temporary storage unit 161 temporarily stores learning data including the image input from the camera 11 and the state feature amount acquired by the state feature amount acquisition unit 151.
  • the learning data is set data in which the time of the image and the state feature amount is synchronized.
  • the learning data temporarily stored in the learning data temporary storage unit 161 is copied to the learning data storage unit 221 of the learning device 2 periodically or when learning is performed. As a result, learning data is accumulated in the learning data accumulation unit 221 of the learning device 2.
  • the learning device 2 performs learning using the learning data.
  • the parameter operation formula storage unit 162 appropriately acquires the parameter operation formula learned by the learning process described later from the learning result storage unit 222 of the learning device 2.
  • the parameter operation formula will be described later. As an example of this acquisition timing, before the mobile body 1 is operated, and the like.
  • the learning device 2 will be described later with reference to FIG.
  • communication between the mobile body 1 and the learning device 2 can be performed via a wired communication path such as an electric wire or an optical fiber, or wireless communication.
  • FIG. 2 is a diagram illustrating a configuration example of the learning device 2 according to the first embodiment.
  • the learning device 2 includes a calculation unit 21 and a storage unit 22.
  • the calculation unit 21 includes a state feature amount input unit 211, an image data input unit 212, a reward calculation self-position estimation unit (learning processing unit) 213, a reward calculation unit (learning processing unit) 214, and parameter operation formula learning. Part (learning processing part) 215.
  • the storage unit 22 stores a program.
  • the storage unit 22 includes a learning data storage unit 221 and a learning result storage unit 222.
  • the learning data storage unit 221 stores the learning data stored in the learning data temporary storage unit 161 by the mobile unit 1 while the mobile unit 1 is moving. As described above, this accumulation is performed periodically, for example.
  • image data of the learning data is input to the image data input unit 212.
  • the state feature amount is input to the state feature amount input unit 211.
  • the state feature amount input unit 211 outputs the state feature amount input from the learning data storage unit 221 to the parameter operation formula learning unit 215.
  • the image data input unit 212 outputs the image data input from the learning data storage unit 221 to the reward calculation self-position estimation unit 213.
  • the reward calculation self-position estimation unit 213 estimates the self-position of the moving body 1 based on an image and a parameter acquired from the parameter operation formula learning unit 215 in order to calculate a reward used in a learning process described later.
  • a technique for self-position estimation a feature point based technique or the like can be cited.
  • the feature point-based technique for example, a technique described in Japanese Patent Application Laid-Open No. 2017-21427 is used.
  • the reward calculation unit 214 calculates a reward that serves as a guide for minutely changing the weighting coefficient matrix W and the shift amount b.
  • the parameter operation formula learning unit 215 slightly changes the coefficient matrix W and the shift amount b based on the reward calculated by the reward calculation unit 214.
  • Parameters are instructions that must be set manually in the self-position estimation. Parameters include, for example, the number of detected image feature points used when matching a map with an image, the range of use of an actual image in matching between image feature points constituting a map and image feature points in an actual image, etc. Is mentioned. By appropriately setting such parameters according to the state (brightness, etc.), it is possible to perform self-position estimation more accurately.
  • a formula (1) as an example of the parameter operation formula.
  • x is a vector composed of state feature quantities.
  • u is a vector composed of self-position estimation parameters.
  • W is a weighting coefficient matrix of x.
  • B is a coefficient vector representing the shift amount.
  • the learning process in the present embodiment is a process of adjusting the coefficient matrix W and the shift amount b so that the parameter u output when the state feature quantity x is input improves the self-position estimation accuracy.
  • the mobile unit 1 can estimate an appropriate self-position estimation parameter for the state feature quantity x by the parameter operation formula using the learned coefficient matrix W and the shift amount b in the formula (1) at the time of self-position estimation. It becomes.
  • FIG. 3 is a diagram for explaining the learning process of the parameter operation formula used in the first embodiment.
  • the state feature quantity input unit 211 outputs the state feature quantity x to the parameter operation formula learning unit 215.
  • the parameter operation equation learning unit 215 calculates the equation (1) using the initial value of the coefficient matrix W and the initial value of the shift amount b for the input state feature value x, and calculates the self-position estimation parameter u. .
  • the parameter operation formula learning unit 215 outputs the calculated parameter u to the reward calculation self-position estimation unit 213.
  • the reward calculation self-position estimation unit 213 uses the parameter u and the image input from the image data input unit 212 to calculate an index (stability index) representing the stability of self-position estimation. Then, the reward calculation self-position estimation unit 213 outputs the calculated stability index to the reward calculation unit 214.
  • the stability index will be described later.
  • the reward calculation unit 214 calculates a reward for the parameter u based on the input stability index. Then, the reward calculation unit 214 outputs the calculated stability index to the parameter operation formula learning unit 215. Then, the parameter operation equation learning unit 215 changes the coefficient matrix W and the shift amount b by a minute amount based on the input reward. Then, the parameter operation equation learning unit 215 calculates the parameter u again using the parameter operation equation (equation (1)) using the coefficient matrix W and the shift amount b changed by a minute amount. Then, the parameter operation equation learning unit 215 outputs the calculated self-position estimation parameter u to the reward calculation self-position estimation unit 213.
  • the parameter operation equation learning unit 215 calculates a relationship between the coefficient matrix W, the change amount of the shift amount b, and the change amount of the reward based on the calculated current reward and the reward obtained in the previous calculation. Then, the parameter operation formula learning unit 215 slightly changes the coefficient matrix W and the shift amount b so that the reward becomes higher. Then, the same process is repeated to calculate a reward. The reward is set so as to increase as the parameter u approaches an appropriate value.
  • a series of flows shown in FIG. 3 is a learning process.
  • the learning process is performed for each set of learning data (that is, for each image).
  • the parameter u output by the parameter operation formula thus obtained is regarded as the optimum parameter for the state feature value x acquired in the environment.
  • a learning process is performed on all the learning data accumulated in various environments, thereby creating a parameter operation expression for estimating the optimum parameter u for various state feature quantities x.
  • the learned coefficient matrix W and the shift amount b created in this way are stored in the learning result storage unit 222.
  • the state feature amount x used for image processing, the learned coefficient matrix W, and the shift amount b are stored in the learning result storage unit 222 as a set of data.
  • the stability index includes, for example, the number of feature points constituting a map stored in advance and the number of feature points in the current image that are matched. It is determined that the greater the number of matched feature points, the higher the stability of self-position estimation.
  • a reward for example, if the index indicating the stability of self-position estimation is outside the target stability regulation range, a negative compensation is set, and if it is within the target stability regulation range, a positive compensation is given. Try to set. Such a prescribed range is set manually in advance. When the parameter u becomes an appropriate value, the learning process is completed.
  • the sensitivity (corresponding to the parameter u) for detecting a feature point is increased.
  • the parameter u is adjusted such that a slightly rounded part is calculated as a feature amount.
  • FIG. 4 is a diagram illustrating a procedure of self-position estimation processing performed in the first embodiment.
  • the state feature amount acquisition unit 151 outputs the current state feature amount x to the parameter operation amount calculation unit 152.
  • the parameter operation amount calculation unit 152 acquires, from the parameter operation expression storage unit 162, the coefficient matrix W and the shift amount b corresponding to the acquired state feature amount x among the learned coefficient matrix W and the shift amount b shown in FIG. To do.
  • the parameter operation amount calculation unit 152 acquires the state feature amount x from the state feature amount acquisition unit 151.
  • the parameter operation amount calculation unit 152 substitutes the state feature amount x into the parameter operation equation obtained by applying the learned coefficient matrix W and the shift amount b to Equation (1). In this way, the parameter u is calculated.
  • the parameter operation amount calculation unit 152 outputs the calculated parameter u to the self-position estimation unit 153.
  • the self-position estimation unit 153 performs self-position estimation using the current image acquired by the camera 11 and the input parameter u.
  • FIG. 5 is a flowchart showing the procedure of the entire process performed in the self-position estimation system Z of the first embodiment. Reference is made to FIGS. 1 and 2 as appropriate.
  • learning data is first collected by manually operating the moving body 1 (S1), and the collected learning data is stored in the learning data temporary storage unit 161.
  • the learning data stored in the learning data temporary storage unit 161 is transmitted to the learning device 2 at a predetermined timing.
  • the learning device 2 executes the learning process described above with reference to FIG. 3 using the transmitted learning data (S2). That is, the learning device 2 learns the parameter operation formula based on the learning data stored in the learning data storage unit 221.
  • the processing in step S2 has been described with reference to FIG.
  • the parameter operation expression learning unit 215 stores the parameter operation expression (coefficient matrix W and shift amount b) calculated as a result of the learning process in the learning result storage unit 222.
  • the parameter operation formula stored in the learning result storage unit 222 is transmitted to the parameter operation formula storage unit 162 of the moving body 1 at a predetermined timing.
  • the fact that the learning process has ended may be displayed on a display unit (not shown) of the learning device 2, the self-position estimation result display unit 13 of the mobile body 1, or the like. In this way, the user can confirm the end of learning.
  • the moving body 1 When learning is completed as described above, the moving body 1 can move while performing self-position estimation freely in the learned environment. Then, based on the stored learned parameter operation formula, the moving body 1 performs the movement process (S3). This movement process is that the moving body 1 moves while performing self-position estimation using the learned parameter operation formula. The process of step S3 will be described later with reference to FIG.
  • the user When collecting the learning data in step S1 of FIG. 5, the user operates the operation input unit 14 such as a steering wheel, an accelerator, or a joystick, and travels through the assumed driving environment. Then, learning data during traveling is collected. Then, the learning data is collected on the same travel route by changing the sensing state. For example, in a driving environment in which external light is inserted, it is desirable to collect learning data for morning, noon, and night. In addition, if it is outdoors, learning data in fine weather and rainy weather are collected as learning data in different sensing states. It is desirable that the state information acquisition unit 12 mounted on the moving body 1 collects learning data at various sensors that may be used and at various attachment positions.
  • the operation input unit 14 such as a steering wheel, an accelerator, or a joystick
  • FIG. 6 is a flowchart illustrating a detailed procedure of the main movement process (step S3 in FIG. 5) performed in the first embodiment.
  • the camera 11 captures an image by capturing the surrounding environment (S301).
  • the state feature amount acquisition unit 151 acquires the state feature amount by the above-described method (S302).
  • the parameter operation amount calculation unit 152 calculates the parameter u based on the parameter operation equation (coefficient matrix W and shift amount b) stored in the parameter operation equation storage unit 162 and the state feature amount (S303). .
  • the processing in step S303 has been described with reference to FIG.
  • the self-position estimation unit 153 performs self-position estimation based on the calculated parameter u (S304). Since the process in step S304 is a known technique, its details are omitted. Next, the self-position estimating unit 153 determines whether or not the self-position estimation is successful (S305). Although the self-position estimation success determination method includes the method described in Japanese Patent Application Laid-Open No. 2016-110576, other determination methods may be used. If the result of step S305 is that the self-position estimation has failed (S305 ⁇ No), the image and state information at that time are stored in the learning data temporary storage unit 161 as new learning data (S311). And the calculation part 15 returns a process to step S301.
  • step S305 If the result of step S305 is that the self-position estimation is successful (S305 ⁇ Yes), the self-position estimation result display unit 13 displays the self-position estimation result (S321). In addition, after the process of step S305, “normal”, “unstable”, “calculation load”, and the like may be displayed on the self-position estimation result display unit 13 as a result of self-position estimation. By doing so, it becomes possible to cope with tracking lost.
  • the operation control unit 154 determines whether or not the movement end condition is satisfied (S322).
  • the movement end condition for example, the self-position estimation result of the moving body 1 is within a predetermined distance set in advance from the movement end target point.
  • the movement end condition may be whether the operation control unit 154 has received a stop signal from the operation input unit 14. Alternatively, it may be possible that the self-position estimation has failed and it is necessary to collect learning data again.
  • step S322 when the operation end condition is satisfied (S322 ⁇ Yes), the calculation unit 15 ends the process.
  • step S322 when the operation end condition is not satisfied (S322 ⁇ No), for example, the operation control unit 154 is based on the destination specified on the map on the tablet or the like and the current self-position of the moving body 1. Moves the moving body 1 (S323). Specifically, the operation control unit 154 generates a route to the destination, and sends a signal that can follow the route to a moving mechanism (not shown) of the moving body 1. And the calculation part 15 returns a process to step S301.
  • step S311 the learning data is stored in the learning data temporary storage unit 161 of the moving body 1 even when the moving process is being performed. Then, the accumulated learning data is transferred to the learning data storage unit 221 of the learning device 2 at a time when the moving process is not performed. Then, the parameter operation formula is updated by the learning device 2 performing the parameter operation formula learning process (S2) each time. Specifically, when the mobile unit 1 is operated in a commercial facility, during the business hours of the commercial facility, the mobile unit 1 performs the main movement process and moves the data for which self-position estimation has failed as learning data. The data is stored in the learning data temporary storage unit 161 of the body 1.
  • the learning data is transferred from the learning data temporary storage unit 161 of the mobile body 1 to the learning data storage unit 221 of the learning device 2. Then, outside of business hours, the learning device 2 performs a parameter operation expression learning process (S2), and newly sets a parameter operation expression (coefficient matrix W and shift amount b) corresponding to the state feature amount used in the learning process. To generate. Then, the parameter operation formula updated before the next business hours is transferred to the parameter operation formula storage unit 162 of the moving body 1. By doing in this way, the mobile body 1 can perform self-position estimation according to the latest sensing state. If the acquired learning data is inappropriate for the learning process, the learning data is discarded.
  • S2 parameter operation expression learning process
  • FIG. 7 is a diagram illustrating an example of a self-position estimation system Z in which a plurality of moving objects 1 exist.
  • the self-position estimation system Z has a plurality of moving bodies 1A to 1C (1) as in the example of FIG. 7, learning data collected by the plurality of moving bodies 1A to 1C is stored in the common learning device 2. . Then, the learning device 2 performs learning based on the learning data.
  • the self-position estimation system Z in the present embodiment learns the coefficient matrix W and the shift amount b so as to be an appropriate parameter u using the state feature amount x. Then, the self-position estimation system Z calculates the parameter u using the learned coefficient matrix W and the shift amount b using the current state feature quantity x, and performs self-position estimation based on the calculated parameter u.
  • the mobile body 1 such as an automobile or a robot that performs self-position estimation can provide self-position estimation that is robust against environmental changes by a self-position estimation method using the camera 11.
  • the self-position estimation system Z according to the present embodiment can perform efficient learning and movement of the moving body 1 by performing learning processing with the learning device 2 different from the moving body 1.
  • FIG. 8 is a diagram illustrating a configuration example of the self-position estimation system Za according to the second embodiment. As described above, the self-position estimation system Za differs greatly from the self-position estimation system Z shown in FIG. 1 in that a specialized data collection moving body 3 that collects learning data is provided.
  • the data collection moving body 3 includes a camera 31, a state information acquisition unit 32, an operation input unit 34, a calculation unit 35, and a storage unit 36.
  • the calculation unit 35 includes a state feature amount acquisition unit 351 and an operation control unit 354.
  • the storage unit 36 includes a learning data temporary storage unit 161.
  • the units 31, 32, 34, 351, 354 and the learning data temporary storage unit 161 in the data collection mobile unit 3 are the same as the units 11, 12, 14, 151, 154, 161 of the mobile unit 1 in FIG. Therefore, explanation here is omitted.
  • the operation control unit 354 does not have a function of performing autonomous movement.
  • the learning device 2 has the same configuration as that shown in FIGS. 1 and 2, the description thereof is omitted here.
  • the moving body 1a has the structure which abbreviate
  • the learning data temporary storage unit 161 may be mounted on the moving body 1a.
  • the memory consumption of the mobile 1a can be reduced by performing the learning data collection process on the data collection mobile 3.
  • the mobile body 1a can be designed and manufactured as a high quality product, while the data collection mobile body 3 can be designed with reduced design and design costs.
  • the data collection mobile unit 3 specializes in data collection, it is possible to improve the operation efficiency of each of the data collection and the main movement process, and the failure of the mobile unit 1 (see FIG. 1) during data collection. Risk can also be reduced.
  • FIGS. 9 to 11B a third embodiment of the present invention will be described with reference to FIGS. 9 to 11B.
  • a method for artificially generating data in various states based on collected data will be described. This makes it possible to acquire data that is actually difficult to collect.
  • FIG. 9 is a diagram illustrating a configuration example of the learning device 2b according to the third embodiment.
  • the learning device 2b shown in FIG. 9 is obtained by adding a learning data generation unit (image generation unit) 216 in the calculation unit 21b to the configuration of the learning device 2 shown in FIG.
  • Other configurations have the same configuration as that of the learning device 2 shown in FIG.
  • the learning data generation unit 216 in the learning device 2b first receives the learning data stored in the learning data storage unit 221. Then, learning data (image data and set data of state feature values) in various sensing states is generated virtually (artificially) for the received learning data. Further, the learning data generation unit 216 stores the learning data generated virtually (artificially) in the learning data storage unit 221. It is desirable that the learning data generation unit 216 automatically generate images in various sensing states when one image is input.
  • FIG. 10A and 10B are diagrams illustrating a procedure for virtually generating an image 402 in a rainy environment.
  • FIG. 10A shows an image (original image 401) captured in fine weather.
  • 10B is generated virtually (artificially) by the learning data generation unit 216 from the original image 401 in FIG. 10A.
  • the learning data generation unit 216 generates an image 402 whose field of view is blocked by adding raindrops or the like after reducing the contrast with respect to the original image 401 of FIG. 10A.
  • FIGS. 11A and 11B are diagrams illustrating a procedure for virtually generating an image 403 captured by the camera 11 having a narrow viewing angle.
  • An original image 401 shown in FIG. 11A is the same image as the original image 401 shown in FIG. 10A.
  • an image 403 shown in FIG. 11B is generated virtually (artificially) by the learning data generation unit 216 from the original image 401 in FIG. 11A.
  • the learning data generation unit 216 generates an image 403 obtained by performing trimming for narrowing the image area on the original image 401 illustrated in FIG. 11A.
  • 10B and 11B show an image 402 in a rainy environment and an image 403 captured by the camera 11 with a narrow viewing angle.
  • image generation when the sensing state is dark / bright For example, adjusting the overall contrast.
  • the example given here is an example, and an image under another state may be virtually generated.
  • step S ⁇ b> 1 of FIG. 5 after the mobile unit 1 has collected learning data in the assumed driving environment, the learning data generation unit 216 virtually generates learning data. After that, the parameter operation expression learning process (S2) and the main movement process (S3) are performed.
  • the learning data is virtually generated, so that the labor for collecting the learning data can be reduced.
  • learning data in a sensing state that is actually difficult to collect can be used.
  • FIG. 12 is a diagram illustrating a configuration example of the self-position estimation system Zc in the fourth embodiment.
  • the self-position estimation system Zc shown in FIG. 12 is an extension of the configuration of the self-position estimation system Za shown in FIG.
  • the data collection mobile unit 3c has a configuration in which a state feature amount display unit (display unit) 37 and a state feature amount storage unit 361 are added to the data collection mobile unit 3 of FIG.
  • Other configurations are the same as those of the data collection moving body 3 of FIG.
  • the state feature amount storage unit 361 stores the state feature amount of the learning data from the learning data temporary storage unit 161.
  • the state feature amount storage unit 361 stores state feature amounts of learning data collected by the data collection mobile unit 3c in the past. Then, the state feature amount accumulated in the past is output to the state feature amount display unit 37. In order to reduce the memory of the storage unit 36c, the state feature amount of the collected learning data is not directly stored, but may be stored in the form of a statistic such as an average or variance, or a distribution.
  • the state feature amount display unit 37 receives the information feature amount of the learning data collected in the past from the state feature amount storage unit 361. In addition, the state feature quantity currently being sensed by the camera 11 is received from the state feature quantity acquisition unit 351. Then, the state feature amount display unit 37 compares and visualizes the environmental feature amount at the time of past data collection and the environmental feature amount currently being sensed.
  • a visualization method for example, a method of superimposing a current value on data collected in the past and distributing the data may be used, but another method may be used.
  • the state feature value display unit 37 may display the learning data of the overlapping sensing state, and the user may discard unnecessary learning data while viewing the display.
  • the state information acquisition unit 12 may use an external sensor such as an illuminometer, or may be manually input from the calculation unit 15 such as the height (attachment position) of the camera 11. By doing in this way, a state feature-value can be increased and the precision of self-position estimation can be improved.
  • an external sensor such as an illuminometer
  • the self-position estimation system Z of the present embodiment can be applied to an automatic driving system, a mobile phone position estimation service, a virtual reality device using self-position estimation, shoes for calculating a moving distance based on the self-position, and a mobile device. It is.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to having all the configurations described.
  • a part of the configuration of a certain embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of a certain embodiment.
  • each of the above-described configurations, functions, units 151 to 154, 211 to 216, 351, and 354, storage units 16, 22, 36, and 36c, etc. may be designed in part or in whole, for example, with an integrated circuit, etc. May be realized by hardware. Further, each configuration, function, and the like described above may be realized by software by a processor such as a CPU interpreting and executing a program that realizes each function.
  • control lines and information lines are those that are considered necessary for explanation, and not all control lines and information lines are necessarily shown on the product. In practice, it can be considered that almost all configurations are connected to each other.

Abstract

環境変化に対してロバストな自己位置推定を可能とするため、移動体の周囲環境を撮像するカメラ（１１）と、カメラ（１１）による撮像時における状態特徴量を取得する状態特徴量取得部（１５１）と、状態特徴量と、カメラ（１１）で撮像された画像とを基に、自己位置推定に用いるパラメータの最適値を導出するための情報であるパラメータ情報を、学習処理によって生成する学習装置（２）と、パラメータの最適値を用いて、自己位置推定処理を行う自己位置推定部（１５３）と、を有することを特徴とする。

Description

自己位置推定システム、自律移動システム及び自己位置推定方法
　本発明は、自己位置推定システム、自律移動システム及び自己位置推定方法の技術に関する。
　カメラ画像を用いた自己位置推定手法では、事前に取得した参照画像と、ロボット移動時に取得する実画像とを比較して自己位置を推定することが行われている。このような手法では、明るさや天候等の周囲環境が変化した際に、参照画像と実画像とのマッチング精度が低下することが課題の一つとしてある。また、環境条件が変化したときにおける対応を人手でルール化し、実装しておく必要がある。
　このような課題への対策として、例えば、特許文献１がある。特許文献１には、「ロボット１は、カメラ部１０１によって作業環境内に存在する物体を撮像した画像データを入力し、レーザレンジファインダ１０７によって作業環境内に存在する物体との距離を計測して得たレンジデータを入力する。また、i）再投影誤差算出部１０３が、画像データから検出したランドマークの画像上での位置と、記憶部１０６に格納された地図情報に含まれる作業空間におけるランドマークの位置を前記画像データに再投影した位置との再投影誤差を算出し、ii）位置誤差算出部１０８が、レンジデータと地図情報に含まれる形状データとの位置合わせ誤差を算出する。さらに、最適化部１０９が、これら再投影誤差及び位置合わせ誤差を含む目的関数をロボット１の周囲環境に応じて決定し、決定した目的関数を最適化してロボット１の自己位置を算出する」移動装置及び移動装置の自己位置推定方法が開示されている（要約参照）。
特開２００７－３２２１３８号公報
　特許文献１に記載の技術では、２つの自己位置推定方法を組み合わせなければならない。そのため、経済的あるいは時間的なコストが、自己位置推定手段が単一の場合と比べて高く、好ましくない。また、特許文献１に記載の技術では、距離センサを用いなければならない。しかし、距離センサはカメラと比較して価格が高い物が多いため、カメラのみを用いることが望ましい。
　このような背景に鑑みて本発明がなされたのであり、本発明は、環境変化に対してロバストな自己位置推定システム、自律移動システム及び自己位置推定方法を提供することを課題とする。
　前記した課題を解決するため、本発明は、移動体の周囲環境を撮像する撮像部と、前記撮像部による撮像時における状態特徴量を取得する状態特徴量取得部と、前記状態特徴量と、前記撮像部で撮像された画像とを基に、自己位置推定に用いるパラメータの最適値を導出するための情報であるパラメータ情報を、学習処理によって生成する学習処理部と、前記撮像部が撮像した現在の周囲環境の画像と、前記状態特徴量取得部が取得した現在の状態特徴量と、前記パラメータ情報とを用いて、前記パラメータを算出し、算出した前記パラメータを基に自己位置推定処理を行う自己位置推定部と、を有することを特徴とする。
　その他の解決手段は、実施形態において適宜記載する。
　本発明によれば、環境変化に対してロバストな自己位置推定システム、自律移動システム及び自己位置推定方法を提供することができる。
第１実施形態に係る自己位置推定システムの構成例を示す図である。 第１実施形態における学習装置の構成例を示す図である。 第１実施形態で用いられるパラメータ操作式の学習処理を説明する図である。 第１実施形態で行われる自己位置推定処理の手順を示す図である。 第１実施形態の自己位置推定システムで行われる全体処理の手順を示すフローチャートである。 第１実施形態で行われる本移動処理の詳細手順を示すフローチャートである。 移動体１が複数存在する自己位置推定システムの例を示す図である。 第２実施形態に係る自己位置推定システムの構成例を示す図である。 第３実施形態における学習装置の構成例を示す図である。 雨環境下における画像を仮想的に生成する手順を示す図（その１）である。 雨環境下における画像を仮想的に生成する手順を示す図（その２）である。 視野角の狭いカメラで撮像された画像を仮想的に生成する手順を示す図（その１）である。 視野角の狭いカメラで撮像された画像を仮想的に生成する手順を示す図（その２）である。 第４実施形態における自己位置推定システムの構成例を示す図である。
　次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。
　本実施形態の自己位置推定システムは、明るさや天候等の周囲環境が変化した際に、自己位置推定の計算に使用する様々なパラメータの値を、変化した周囲環境に適した値に自動的に調整する。このようにすることで、本実施形態の自己位置推定システムは、自己位置推定精度の悪化を防ぐことを可能とする。また、本実施形態の自己位置推定システムは、パラメータを自動的に計算するために、環境に応じたパラメータを算出するためのパラメータ操作式を用いる。また、パラメータ操作式は、事前にカメラ等によって収集されたデータに基づいて学習装置が学習することで生成される。
　［第１実施形態］
　図１～図７を参照して、第１実施形態について説明する。
　（システム構成図及び移動体１）
　図１は、第１実施形態に係る自己位置推定システムＺの構成例を示す図である。
　自己位置推定システム（自律移動システム）Ｚは、移動体１及び学習装置２を有している。
　なお、図１では、移動体１は１台としているが、後記するように複数台存在していてもよい。
　移動体１は、カメラ（撮像部）１１、状態情報取得部１２、自己位置推定結果表示部１３、動作入力部１４、計算部１５及び記憶部１６を有している。
　カメラ１１は、画像を撮像する取得する。また、カメラ１１は、１台以上のカメラから構成されている。それぞれのカメラ１１は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ等の撮像素子を備えている。これらのカメラ１１により、外界を撮像して得られたデジタル画像は、状態特徴量取得部１５１と、自己位置推定部１５３と、学習用データ一時記憶部１６１と、に出力される。
　なお、走行環境を広く撮像するため、複数のカメラ１１を搭載したり、広角レンズや超広角レンズを備えたカメラ１１を搭載したりするのが望ましい。さらに、夜間等の暗所を走行する場合、赤外線カメラを搭載するのが望ましい。また、複数のカメラ１１を搭載する場合、移動体１の周囲を満遍なく撮像できるような位置に搭載するのが望ましい。さらに、広角レンズや超広角レンズを備えたカメラ１１を搭載する場合、移動体１の最も高い位置、かつ、上向きにカメラ１１が搭載されるのが望ましい。このようにカメラ１１を搭載することで、ロバスト性を向上させることができる。
　さらに、搭載時において、カメラ１１の姿勢が動かないよう、固定するのが望ましい。しかし、カメラ１１の姿勢を常に把握するシステムを搭載している場合、カメラ１１の姿勢は固定されなくてもよい。さらに、カメラ１１で撮像する画像はカラー画像でもグレースケール画像でもよい。
　状態情報取得部１２は、センシングの状態（状態情報）を取得する。
　具体的には、状態情報取得部１２は、カメラ１１で取得された画像等から状態に関する情報（以下、状態情報と称する）を取得する。状態とは、例えば画像の明るさ等である。また、移動体１がインターネットに接続していれば、状態情報取得部１２は、天候等の外部要素に関する情報を状態情報として取得する。また、状態情報として、カメラ１１の視野角等の移動体１の内部要素に関する情報がある。移動体１の内部要素に関する情報は、例えば、キーボードからの入力（つまり、ユーザの手入力）や、設定ファイルの記述等を通して得られる。
　自己位置推定結果表示部１３は、自己位置推定結果を表示するディスプレイ等である。自己位置推定結果表示部１３には、自己位置推定部１５３から移動体１の位置、姿勢といった現在の自己位置情報が入力されることで、移動体１の位置、姿勢が表示される。表示方法としては、位置・姿勢を周辺地図上に矢印や点で表示してもよいし、特定の原点に基づいて計算された数値を表示してもよい。なお、図１の例では、自己位置推定結果表示部１３が移動体１に搭載されているが、図示しない制御用ＰＣ等に搭載されてもよい。
　動作入力部１４は、ハンドルやアクセルペダルやジョイスティック等といった人間が移動体１に移動指令を与えるためのインターフェースである。動作入力部１４としては、これら以外に、タブレット上に表示した地図上で目的地が指定されるものでもよいし、キーボードによって目的地の座標が直接入力されるものでもよい。
　動作入力部１４は、後記する地図データや、学習データを収集するため、移動体１を手動で操作する際に用いられる。
　なお、移動体１は、自律移動を行うものであるが、地図データや、学習データを収集する際では、ユーザが動作入力部１４を用いて操縦を行う。
　計算部１５は、状態特徴量取得部１５１、パラメータ操作量算出部１５２、自己位置推定部１５３及び動作制御部１５４を有している。
　なお、移動体１の記憶部１６にはプログラムが格納されている。そして、このプログラムが、図示しないメモリにロードされ、図示しないＣＰＵ（Central Processing Unit）によって実行される。これにより、状態特徴量取得部１５１、パラメータ操作量算出部１５２、自己位置推定部１５３及び動作制御部１５４が具現化する。
　状態特徴量取得部１５１は、状態情報取得部１２で得られた状態情報を状態特徴量へ変換する。状態特徴量とは、状態を１つ以上の数値で定量的に示した指標である。学習装置２における学習では、状態特徴量が用いられることで、学習演算が行われる。例えば、カメラ１１の高さや視野角等の低次元で表現される情報は、そのまま状態特徴量として利用される。
　また、状態特徴量取得部１５１は、カメラ１１から取得した画像からも状態特徴量を取得する。なお、画像等の高次元で表現される情報は、画像の明るさ（輝度）の指標や、画面内の障害物の占める割合等の低次元で表現される情報に変換される。ちなみに、状態情報取得部１２で取得される明るさは、周囲環境の明るさである。
　パラメータ操作量算出部１５２は、学習装置２で学習された係数行列Ｗ、シフト量ｂと、状態特徴量ｘとを基にパラメータｕを算出する。パラメータ操作量算出部１５２が行う処理については後記する。
　自己位置推定部１５３は、カメラ１１が取得した現在の画像と、入力されたパラメータｕを用いて自己位置推定を行う。
　動作制御部１５４は、自己位置推定部１５３から入力された移動体１の位置、姿勢といった現在の自己位置情報や、動作入力部１４から入力された移動指令に従って、移動体１のアクチュエータを制御する。
　記憶部１６は、学習用データ一時記憶部１６１及びパラメータ操作式記憶部１６２を有している。
　学習用データ一時記憶部１６１は、カメラ１１から入力された画像と、状態特徴量取得部１５１で取得された状態特徴量とで構成される学習用データとを一時的に保存している。なお、学習用データは、画像と状態特徴量の時刻同期のとれたセットデータである。
　また、学習用データ一時記憶部１６１に一時的に保存された学習用データは、定期的あるいは学習を行う際に、学習装置２の学習用データ蓄積部２２１にコピーされる。これにより、学習装置２の学習用データ蓄積部２２１に学習用データが蓄積されていく。そして、学習装置２は、学習用データを使用して学習を行う。
　パラメータ操作式記憶部１６２は、後記する学習処理によって学習されたパラメータ操作式を、学習装置２の学習結果記憶部２２２から適宜取得する。パラメータ操作式については後記する。この取得のタイミングは、一例として、移動体１の運用前等が挙げられる。
　学習装置２については、図２を参照して後記する。
　なお、移動体１と学習装置２間の通信は、電線、光ファイバ等の有線通信路、または無線通信を介して行うことができる。
　（学習装置２）
　図２は、第１実施形態における学習装置２の構成例を示す図である。
　学習装置２は、計算部２１と、記憶部２２とを有している。
　計算部２１は、状態特徴量入力部２１１と、画像データ入力部２１２と、報酬計算用自己位置推定部（学習処理部）２１３と、報酬計算部（学習処理部）２１４と、パラメータ操作式学習部（学習処理部）２１５とを有している。
　なお、記憶部２２にはプログラムが格納されている。このプログラムが図示しないメモリにロードされ、図示しないＣＰＵによって実行されることにより、状態特徴量入力部２１１と、画像データ入力部２１２と、報酬計算用自己位置推定部２１３と、報酬計算部２１４と、パラメータ操作式学習部２１５とが具現化する。
　記憶部２２は、学習用データ蓄積部２２１と、学習結果記憶部２２２とを有している。
　学習用データ蓄積部２２１は、移動体１の移動中において、移動体１が学習用データ一時記憶部１６１に蓄積した学習用データを蓄積する。前記したように、この蓄積は、例えば定期的に行われる。学習処理において、学習用データのうち画像データが画像データ入力部２１２に入力される。また、学習データのうち、状態特徴量は状態特徴量入力部２１１に入力される。
　状態特徴量入力部２１１は、学習用データ蓄積部２２１から入力された状態特徴量をパラメータ操作式学習部２１５へ出力する。同様に、画像データ入力部２１２は、学習用データ蓄積部２２１から入力された画像データを報酬計算用自己位置推定部２１３へ出力する。
　報酬計算用自己位置推定部２１３は、後記する学習処理で利用する報酬を計算するために画像と、パラメータ操作式学習部２１５から取得するパラメータを基に、移動体１の自己位置を推定する。自己位置推定の手法として、特徴点ベースの手法等が挙げられる。特徴点ベースの手法としては、例えば、特開２０１７－２１４２７号公報に記載の手法等が用いられる。
　報酬計算部２１４は、報酬計算用自己位置推定部２１３の処理結果に基づいて、重みの係数行列Ｗ、シフト量ｂを微小変化させる目安となる報酬を算出する。
　パラメータ操作式学習部２１５は、報酬計算部２１４が算出した報酬に基づいて、係数行列Ｗ、シフト量ｂを微小変化させる。
　（学習処理）
　次に、パラメータ操作式を学習するための、学習処理について説明する。パラメータは、自己位置推定において手動で設定しなければならない指示事項である。パラメータは、例えば、地図と画像とのマッチングを行う際に利用する画像特徴点の検出数や、地図を構成する画像特徴点と実画像中の画像特徴点とのマッチングにおける実画像の利用範囲等が挙げられる。このようなパラメータを状態（明るさ等）にあわせて適切に設定することで、より正確に自己位置推定を行うことができる。
　まず、パラメータ操作式の一例として式（１）がある。
　ｕ＝Ｗｘ＋ｂ　・・・　（１）
　式（１）においてｘは状態特徴量から構成されるベクトルである。ｕは自己位置推定のパラメータから構成されるベクトルである。また、Ｗはｘの重み係数行列である。そして、ｂはシフト量を表す係数ベクトルである。
　本実施形態における学習処理は、状態特徴量ｘが入力された際に出力されるパラメータｕが、自己位置推定精度を改善するように、係数行列Ｗとシフト量ｂを調整する処理である。移動体１は、自己位置推定時において、式（１）における学習済みの係数行列Ｗとシフト量ｂを用いたパラメータ操作式により、状態特徴量ｘに対して適切な自己位置推定パラメータを推定可能となる。
　図３は、第１実施形態で用いられるパラメータ操作式の学習処理を説明する図である。
　まず、状態特徴量入力部２１１は、状態特徴量ｘをパラメータ操作式学習部２１５へ出力する。パラメータ操作式学習部２１５は、入力された状態特徴量ｘに係数行列Ｗの初期値と、シフト量ｂの初期値を用いた式（１）を演算し、自己位置推定のパラメータｕを算出する。そして、パラメータ操作式学習部２１５は、算出したパラメータｕを報酬計算用自己位置推定部２１３に出力する。
　報酬計算用自己位置推定部２１３は、パラメータｕと、画像データ入力部２１２から入力された画像を用いて、自己位置推定の安定性を表す指標（安定性指標）を算出する。そして、報酬計算用自己位置推定部２１３は、算出した安定性指標を報酬計算部２１４に出力する。なお、安定性指標については後記する。
　報酬計算部２１４は、入力された安定性指標に基づいて、パラメータｕに対する報酬を算出する。そして、報酬計算部２１４は、算出した安定性指標をパラメータ操作式学習部２１５へ出力する。そして、パラメータ操作式学習部２１５は、入力された報酬に基づいて、係数行列Ｗとシフト量ｂを微小量変化させる。そして、パラメータ操作式学習部２１５は、微小量変化させた係数行列Ｗ及びシフト量ｂを用いたパラメータ操作式（式（１））を用いて、パラメータｕを再度算出する。そして、パラメータ操作式学習部２１５は、報酬計算用自己位置推定部２１３へ算出した自己位置推定のパラメータｕを出力する。
　そして、前回と同様の流れで報酬が算出される。
　パラメータ操作式学習部２１５は、算出した今回の報酬と、前回の計算で得られた報酬に基づいて、係数行列Ｗとシフト量ｂの変化量と、報酬の変化量との関係を算出する。そして、パラメータ操作式学習部２１５は、報酬がより高くなるように係数行列Ｗとシフト量ｂを微小変化させる。そして、同様の処理が繰り返され報酬が算出される。報酬は、パラメータｕが適切な値に向かえば向かうほど高くなるよう設定される。
　以上の手順が繰り返されることで、報酬の変化量が一定値以下となるまで、パラメータ操作式が更新し続けられる。図３に示す一連の流れが学習処理である。
　学習処理は、学習データのセット毎（すなわち、画像毎）に行われる。
　こうして得られたパラメータ操作式によって出力されるパラメータｕが、当該環境で取得した状態特徴量ｘに対する最適パラメータとみなされる。そして、様々な環境下で蓄積されたすべての学習用データで学習処理が行われることで、様々な状態特徴量ｘに対して、最適なパラメータｕを推定するパラメータ操作式が作成される。そして、このように作成された学習済みの係数行列Ｗとシフト量ｂが学習結果記憶部２２２に記憶される。
　なお、画像処理に用いられた状態特徴量ｘと、学習された係数行列Ｗ、シフト量ｂとが組のデータとして学習結果記憶部２２２に格納される。
　なお、安定性指標として、例えば、事前に記憶してある地図を構成する特徴点と現在の画像中の特徴点のマッチングした個数等が挙げられる。特徴点のマッチングした個数が多いほど、自己位置推定の安定性が高いと判定される。
　また、報酬として、例えば、自己位置推定の安定性を表す指標が目標安定性の規定範囲外にある場合、マイナスの報酬が設定され、目標安定性の規定範囲内であれば、プラスの報酬を設定するようにする。このような規定範囲は、事前に手動で設定される。
　そして、パラメータｕが適切な値となれば、学習処理が完了する。
　例えば、周囲環境（状態特徴量ｘ）が暗い場合、特徴点を検出する感度（パラメータｕに相当）を高くする。つまり、明るい環境下では、角ばった箇所のみ特徴量として使用されるが、暗い環境下では、これらの特徴量がマッチングに十分な量を取得できない場合がある。このような場合、例えば、やや丸みをおびた箇所も特徴量として算出する等といったパラメータｕの調整が行われる。
　図３に示すような学習処理が行われることにより、効率的な学習を行うことができ、安定した結果を得ることができる。
　図４は、第１実施形態で行われる自己位置推定処理の手順を示す図である。
　図４では、図３に示す学習処理で算出されたパラメータ操作式（係数行列Ｗ、シフト量ｂ）を用いた自己位置推定処理を説明する。
　状態特徴量取得部１５１は、現在の状態特徴量ｘをパラメータ操作量算出部１５２に出力する。
　パラメータ操作量算出部１５２は、図３による学習済みの係数行列Ｗとシフト量ｂのうち、取得した状態特徴量ｘに対応する係数行列Ｗとシフト量ｂとをパラメータ操作式記憶部１６２から取得する。また、パラメータ操作量算出部１５２は、状態特徴量ｘを状態特徴量取得部１５１から取得する。
　次に、パラメータ操作量算出部１５２は、学習済みの係数行列Ｗとシフト量ｂを式（１）に当てはめたパラメータ操作式に、状態特徴量ｘを代入する。このようにすることで、パラメータｕが算出される。パラメータ操作量算出部１５２は、算出したパラメータｕを自己位置推定部１５３に出力する。自己位置推定部１５３は、カメラ１１が取得した現在の画像と、入力されたパラメータｕを用いて自己位置推定を行う。
　（全体処理）
　図５は、第１実施形態の自己位置推定システムＺで行われる全体処理の手順を示すフローチャートである。適宜、図１及び図２を参照する。
　初めて、本実施形態の自己位置推定システムＺを利用する場合、まず学習用のデータを収集する必要がある。そこで、まず、移動体１が手動運転されることで学習用データを収集し（Ｓ１）、収集した学習用データを学習用データ一時記憶部１６１に記憶する。
　学習用データ一時記憶部１６１に格納された学習用データは、所定のタイミングで学習装置２に送信される。
　そして、学習装置２は、送信された学習用データを用いて、図３を参照して前記した学習処理を実行する（Ｓ２）。すなわち、学習装置２は、学習用データ蓄積部２２１に蓄積された学習用データを基にパラメータ操作式の学習を行う。ステップＳ２の処理は図３で説明したものである。パラメータ操作式学習部２１５は、学習処理の結果算出されたパラメータ操作式（係数行列Ｗ及びシフト量ｂ）を学習結果記憶部２２２に保存する。学習結果記憶部２２２に保存されたパラメータ操作式は、所定及びタイミングで移動体１のパラメータ操作式記憶部１６２に送信される。
　なお、学習処理が終了した旨が、学習装置２の図示しない表示部や、移動体１の自己位置推定結果表示部１３等に表示されてもよい。このようにすることで、ユーザは学習の終了を確認することができる。
　以上によって学習が済めば、移動体１は学習した環境内おいて自由に自己位置推定をしながら移動することが可能となる。そして、保存された学習済みのパラメータ操作式を基に、移動体１は本移動処理を実行する（Ｓ３）。本移動処理は、学習されたパラメータ操作式を用いて、移動体１が自己位置推定を行いながら移動を行うことである。ステップＳ３の処理は図６で後記する。
　図５のステップＳ１における学習用データを収集する際、ハンドルやアクセルやジョイスティック等の動作入力部１４をユーザが操作して、想定走行環境内をくまなく走行する。そして、走行中の学習用データが収集される。そして、センシングの状態を変えて、同じ走行経路で学習用データが収集される。例えば、外光が差し込む走行環境であれば、朝、昼、夜と学習用データが収集されるのが望ましい。また、屋外であれば晴天時、雨天時の学習用データが、異なるセンシング状態の学習用データとして収集される。移動体１に搭載される状態情報取得部１２は、利用する可能性のある様々なセンサや、様々な取付位置で学習用データを収集することが望ましい。
　（本移動処理）
　図６は、第１実施形態で行われる本移動処理（図５のステップＳ３）の詳細手順を示すフローチャートである。適宜、図１及び図２を参照する。
　まず、カメラ１１は、周囲の環境を撮像することで画像を撮像する（Ｓ３０１）。
　次に、状態特徴量取得部１５１が、前記した手法で状態特徴量を取得する（Ｓ３０２）。
　そして、パラメータ操作量算出部１５２が、パラメータ操作式記憶部１６２に記憶されたパラメータ操作式（係数行列Ｗ及びシフト量ｂ）と、状態特徴量とに基づいて、パラメータｕを算出する（Ｓ３０３）。ステップＳ３０３の処理は図４で説明したものである。
　続いて、自己位置推定部１５３が、算出したパラメータｕに基づいて自己位置推定を行う（Ｓ３０４）。ステップＳ３０４の処理は、公知の技術なので詳細を省略する。
　次に、自己位置推定部１５３は、自己位置推定が成功したか否かを判定する（Ｓ３０５）。自己位置推定の成功判定方法は、特開２０１６－１１０５７６号公報に記載されている方法等があるが、その他の判定方法が用いられてもよい。
　ステップＳ３０５の結果、自己位置推定が失敗した場合（Ｓ３０５→Ｎｏ）、その時の画像及び状態情報を新たな学習用データとして学習用データ一時記憶部１６１に格納する（Ｓ３１１）。そして、計算部１５は、ステップＳ３０１へ処理を戻す。
　ステップＳ３０５の結果、自己位置推定が成功した場合（Ｓ３０５→Ｙｅｓ）、自己位置推定結果表示部１３が、自己位置推定結果を表示する（Ｓ３２１）。なお、ステップＳ３０５の処理後、自己位置推定の結果として「正常」、「不安定」、「計算負荷」等が自己位置推定結果表示部１３に表示されてもよい。このようにすることで、トラッキングロストへの対応が可能となる。
　そして、動作制御部１５４は、移動終了条件を満たしているか否かを判定する（Ｓ３２２）。移動終了条件としては、例えば、移動体１の自己位置推定結果が、移動終了目標地点からあらかじめ設定された一定距離以内であるかである。あるいは、移動終了条件が、動作制御部１５４が、動作入力部１４からの停止信号を受信したかであってもよい。あるいは、自己位置推定が失敗し、再度学習用データの収集が必要となるか、等が考えられる。
　ステップＳ３２２の結果、動作終了条件を満たしている場合（Ｓ３２２→Ｙｅｓ）、計算部１５は処理を終了する。
　ステップＳ３２２の結果、動作終了条件を満たしていない場合（Ｓ３２２→Ｎｏ）、例えば、タブレット上等の地図で指定された目的地と移動体１の現在の自己位置とを基に、動作制御部１５４が移動体１を移動させる（Ｓ３２３）。具体的には、動作制御部１５４が目的地への経路を生成し、その経路をたどれるような信号を移動体１の移動機構（不図示）に送る。
　そして、計算部１５はステップＳ３０１へ処理を戻す。
　なお、ステップＳ３１１に示すように、本移動処理が行われている際でも、移動体１の学習用データ一時記憶部１６１に学習用データが記憶される。そして、本移動処理が行われない時間に学習装置２の学習用データ蓄積部２２１に、蓄積された学習用データが移行される。そして、学習装置２が、パラメータ操作式の学習処理（Ｓ２）を、その都度行うことでパラメータ操作式が更新される。具体的には、移動体１が商業施設で運用される場合、商業施設の営業時間内は、移動体１が本移動処理を行いながら、自己位置推定に失敗したデータを学習用データとして、移動体１の学習用データ一時記憶部１６１に蓄積する。そして、営業時間終了後、移動体１の学習用データ一時記憶部１６１から学習装置２の学習用データ蓄積部２２１に学習用データが移行される。そして、営業時間外に、学習装置２がパラメータ操作式の学習処理（Ｓ２）を行い、学習処理に用いられている状態特徴量に対応するパラメータ操作式（係数行列Ｗ及びシフト量ｂ）を新たに生成する。そして、翌営業時間前に更新されたパラメータ操作式が移動体１のパラメータ操作式記憶部１６２に移される。このようにすることで、最新のセンシング状態にあわせた自己位置推定を移動体１が行える。
　なお、取得された学習データが学習処理に対し不適切である場合、その学習データは破棄される。
　（システム例）
　図７は、移動体１が複数存在する自己位置推定システムＺの例を示す図である。
　図７の例のように、自己位置推定システムＺが複数の移動体１Ａ～１Ｃ（１）を有する場合、複数の移動体１Ａ～１Ｃで収集した学習用データを共通の学習装置２に蓄積する。そして、この学習用データを基に、学習装置２が学習を行う。
　本実施形態における自己位置推定システムＺは、状態特徴量ｘを用いて、適切なパラメータｕとなるよう係数行列Ｗ及びシフト量ｂを学習する。そして、自己位置推定システムＺは、現在の状態特徴量ｘを用いて、学習済みの係数行列Ｗ及びシフト量ｂによりパラメータｕを算出し、算出したパラメータｕを基に自己位置推定を行う。
　以上のような構成により、自己位置推定する自動車やロボット等の移動体１が、カメラ１１を用いた自己位置推定手方法で、環境変化に対してロバストな自己位置推定を提供することができる。
　また、本実施形態に係る自己位置推定システムＺは、移動体１とは異なる学習装置２で学習処理を行うことにより、効率的な学習と、移動体１の移動とを行うことができる。
　［第２実施形態］
　次に、図８を参照して、本発明の第２実施形態を説明する。
　第１実施形態では、データ収集と自己位置推定とが同じ移動体１を用いて行われていた。これに対して、第２実施形態では、学習データ収集を自己位置推定時に利用する移動体１とは別のデータ収集用の移動体を用いて、手動で行う場合について説明する。
　（システム構成図）
　図８は、第２実施形態に係る自己位置推定システムＺａの構成例を示す図である。
　前記したように、自己位置推定システムＺａが、図１に示す自己位置推定システムＺと大きく違う点は、学習用データを収集する専門のデータ収集用移動体３が備えられている点である。
　データ収集用移動体３は、カメラ３１、状態情報取得部３２、動作入力部３４、計算部３５及び記憶部３６を有している。
　計算部３５は、状態特徴量取得部３５１及び動作制御部３５４を有している。
　また、記憶部３６は、学習用データ一時記憶部１６１を有している。
　データ収集用移動体３における各部３１，３２，３４，３５１，３５４及び学習用データ一時記憶部１６１は、図１における移動体１の各部１１，１２，１４，１５１，１５４，１６１と同様であるので、ここでの説明を省略する。ただし、動作制御部３５４は自律移動を行う機能を有さない。
　学習装置２は、図１及び図２と同様の構成を有するため、ここでの説明を省略する。
　そして、移動体１ａは、図１に示す移動体１から学習用データ一時記憶部１６１を省略した構成を有している。しかし、移動体１ａに学習用データ一時記憶部１６１が搭載されていてもよい。
　（動作）
　なお、第２実施形態における自己位置推定装置の動作は、図５の学習用データ収集処理（Ｓ１）がデータ収集用移動体３で行われる以外は、第１実施形態と同じである。
　学習用データ収集処理がデータ収集用移動体３で行われることにより、移動体１ａのメモリ消費量を削減できること等が期待できる。これにより、移動体１ａは、製品としてデザイン・設計共に高品質なものとし、一方で、データ収集用移動体３は、デザイン・設計のコストを抑えたものとすることができる。
　また、データ収集用移動体３がデータ収集を専門に行うことで、データ収集と本移動処理それぞれの稼動効率を向上させることができ、またデータ収集時の移動体１（図１参照）の故障リスクも低減できる。
　［第３実施形態］
　次に、図９～図１１Ｂを参照して、本発明の第３実施形態を説明する。
　第３実施形態では、収集したデータを基に、様々な状態におけるデータを人工的に生成する手法について説明する。これにより、実際には収集が難しい状態のデータも取得することができる。
　移動体１の構成は図１に示す移動体１の構成と同様であるので、ここでの図示及び説明を省略する。
　（学習装置２ｂ）
　図９は、第３実施形態における学習装置２ｂの構成例を示す図である。
　図９に示す学習装置２ｂは、図２に示す学習装置２の構成に対し、計算部２１ｂにおいて学習用データ生成部（画像生成部）２１６を追加したものである。その他の構成は、図２に示す学習装置２と同様の構成を有するので、同一の符号を付して、説明を省略する。
　学習装置２ｂにおける学習用データ生成部２１６は、まず、学習用データ蓄積部２２１に蓄積された学習用データを受け取る。そして、受け取った学習データに対して、様々なセンシングの状態における学習用データ（画像データと状態特徴量のセットデータ）を仮想的（人工的）に生成する。さらに、学習用データ生成部２１６は、仮想的に（人工的に）生成された学習用データを学習用データ蓄積部２２１に記憶する。なお、学習用データ生成部２１６は、１つの画像が入力されると、様々なセンシング状態の画像を自動的に生成することが望ましい。
　（学習用データ生成部２１６によって仮想的に生成された画像の例）
　図１０Ａ及び図１０Ｂは、雨環境下における画像４０２を仮想的に生成する手順を示す図である。
　図１０Ａには、晴天下で撮像された画像（元画像４０１）が示されている。
　そして、図１０Ｂに示す画像４０２は、図１０Ａの元画像４０１から学習用データ生成部２１６によって仮想的（人工的）に生成されたものである。ここでは、学習用データ生成部２１６が、図１０Ａの元画像４０１に対してコントラストを下げた上で、雨粒等を追加することで、視界を遮蔽させた画像４０２を生成する。
　また、図１１Ａ及び図１１Ｂは、視野角の狭いカメラ１１で撮像された画像４０３を仮想的に生成する手順を示す図である。
　図１１Ａに示す元画像４０１は、図１０Ａに示す元画像４０１と同じ画像である。
　ぞして、図１１Ｂに示す画像４０３は、図１１Ａの元画像４０１から学習用データ生成部２１６によって仮想的（人工的）に生成されたものである。
　学習用データ生成部２１６は、図１１Ａに示す元画像４０１に対して、画像領域を狭くするためのトリミングを施した画像４０３を生成する。
　図１０Ｂ、図１１Ｂでは、雨環境下の画像４０２、視野角の狭いカメラ１１で撮像された画像４０３を示しているが、この他にもセンシングの状態が暗い／明るい場合の画像生成や、画像全体のコントラストを調整すること等が挙げられる。ここに挙げた例は一例であり、他の状態下での画像が仮想的に生成されてもよい。
　（全体処理）
　次に、第３実施形態で行われる自己位置推定システムＺの動作について説明する。
　図５のステップＳ１で、移動体１が想定走行環境内の学習用データを収集した後、学習用データ生成部２１６が学習用データを仮想的に生成する。そして、その後、パラメータ操作式の学習処理（Ｓ２）及び本移動処理（Ｓ３）が行われる。
　第３実施形態によれば、学習用データが仮想的に生成されることで、学習用データ収集の労力を低減することができる。また、実際には収集が難しいようなセンシングの状態の学習用データも利用することができるようになる。
　［第４実施形態］
　次に、図１２を参照して、本発明の第４実施形態を説明する。
　第４実施形態では、第２実施形態の構成に加えて、環境特徴量を学習用データ収集処理（図３のＳ１）で可視化する。このようにすることで、無駄なデータの重複収集を防ぎ効率的な学習データの収集を実現する実施形態について説明する。
　図１２は、第４実施形態における自己位置推定システムＺｃの構成例を示す図である。
　図１２に示す自己位置推定システムＺｃは、図８に示す自己位置推定システムＺａの構成を拡張したものとなっている。
　ここで、移動体１ａと学習装置２とは、図８に示すものと同じ構成であるので、同一の符号を付して、説明を省略する。
　データ収集用移動体３ｃは、図８のデータ収集用移動体３に状態特徴量表示部（表示部）３７及び状態特徴量蓄積部３６１が追加された構成となっている。その他の構成は、図８のデータ収集用移動体３と同様の構成を有する。
　状態特徴量蓄積部３６１は、学習用データ一時記憶部１６１から学習用データの状態特徴量を蓄積する。状態特徴量蓄積部３６１には、データ収集用移動体３ｃが過去に収集した学習用データの状態特徴量が蓄積される。そして、過去に蓄積された状態特徴量は状態特徴量表示部３７に出力される。なお、記憶部３６ｃのメモリ削減のために、収集した学習用データの状態特徴量が直接記憶されるのではなく、平均や分散といった統計量や、分布という形式で記憶されてもよい。
　状態特徴量表示部３７は、過去に収集した学習用データの情報特徴量を状態特徴量蓄積部３６１から受け取る。また、現在、カメラ１１でセンシング中の状態特徴量を状態特徴量取得部３５１から受け取る。そして、状態特徴量表示部３７は、過去のデータ収集時の環境特徴量と、現在センシング中の環境特徴量を比較して可視化して表示する。可視化の方法として、例えば、過去に収集したデータに現在値を重ねて分布する等の方法をとる等が挙げられるが、別の方法がとられてもよい。
　第４実施形態によれば、過去に収集したデータと現在値を比較しながらデータ収集を行うことができるため、無駄なデータの重複収集を防ぐことができる。その結果、効率的な学習データの収集を実現することができる。
　なお、状態特徴量表示部３７には、重複したセンシング状態の学習データが表示され、ユーザが、当該表示をみながら、不要な学習データを破棄するようにしてもよい。
　［第５実施形態］
　状態情報取得部１２は、照度計等外部のセンサを使ってもよいし、計算部１５から手入力でカメラ１１の高さ（取付位置）等が入力されてもよい。このようにすることで、状態特徴量を増やすことができ、自己位置推定の精度を向上させることができる。
　本実施形態の自己位置推定システムＺは、自動運転システム、携帯電話の位置推定サービス、自己位置推定を用いたバーチャルリアリティ機器、自己位置を基に移動距離を計算するシューズや、携帯機器に適用可能である。
　本発明は前記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を有するものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、前記した各構成、機能、各部１５１～１５４，２１１～２１６，３５１，３５４、記憶部１６，２２，３６，３６ｃ等は、それらの一部またはすべてを、例えば集積回路で設計すること等によりハードウェアで実現してもよい。また、前記した各構成、機能等は、ＣＰＵ等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、ＨＤ（Hard Disk）に格納すること以外に、メモリや、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣ（Integrated Circuit）カードや、ＳＤ（Secure Digital）カード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に格納することができる。
　また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。
　１，１ａ，１Ａ～１Ｃ　移動体
　２，２ｂ　学習装置
　３，３ｃ　データ収集用移動体
　１１，３１　カメラ（撮像部）
　３７　　状態特徴量表示部（表示部）
　１５１，３５１　状態特徴量取得部
　１５３　自己位置推定部
　２１３　報酬計算用自己位置推定部（学習処理部）
　２１４　報酬計算部（学習処理部）
　２１５　パラメータ操作式学習部（学習処理部）
　２１６　学習用データ生成部（画像生成部）
　Ｚ，Ｚａ，Ｚｃ　自己位置推定システム（自律移動システム）

Claims (9)

  1. 　移動体の周囲環境を撮像する撮像部と、
    　前記撮像部による撮像時における状態特徴量を取得する状態特徴量取得部と、
    　前記状態特徴量と、前記撮像部で撮像された画像とを基に、自己位置推定に用いるパラメータの最適値を導出するための情報であるパラメータ情報を、学習処理によって生成する学習処理部と、
    　前記撮像部が撮像した現在の周囲環境の画像と、前記状態特徴量取得部が取得した現在の状態特徴量と、前記パラメータ情報とを用いて、前記パラメータを算出し、算出した前記パラメータを基に自己位置推定処理を行う自己位置推定部と、
    　を有することを特徴とする自己位置推定システム。
  2. 　移動体の周囲環境を撮像する撮像部と、
    　前記撮像部による撮像時における状態特徴量を取得する状態特徴量取得部と、
    　前記状態特徴量と、前記撮像部で撮像された画像とを基に、自己位置推定に用いるパラメータの最適値を導出するための情報であるパラメータ情報を、学習処理によって生成する学習処理部と、
    　前記撮像部が撮像した現在の周囲環境の画像と、前記状態特徴量取得部が取得した現在の状態特徴量と、前記パラメータ情報とを用いて、前記パラメータを算出し、算出した前記パラメータを基に自己位置推定処理を行う自己位置推定部と、
    　前記自己位置推定処理の結果に基づいて移動を行う動作制御部と、
    　を有することを特徴とする自律移動システム。
  3. 　前記撮像部、前記状態特徴量取得部、前記自己位置推定部及び前記動作制御部は、移動体に設けられ、
    　前記学習処理部は、学習装置に設けられる
    　ことを特徴とする請求項２に記載の自律移動システム。
  4. 　前記撮像部及び前記状態特徴量取得部は、データ収集用移動体に設けられ、
    　前記自己位置推定部及び前記動作制御部は、移動体に設けられ、
    　前記学習処理部は、学習装置に設けられる
    　ことを特徴とする請求項２に記載の自律移動システム。
  5. 　前記データ収集用移動体には、
    　収集した前記状態特徴量に関する情報を表示する表示部が備えられている
    　ことを特徴とする請求項４に記載の自律移動システム。
  6. 　所定の画像から、条件の異なる画像を生成する画像生成部を有し、
    　前記状態特徴量取得部は、
    　前記画像生成部によって生成された前記画像から、前記状態特徴量を取得する
    　ことを特徴とする請求項２に記載の自律移動システム。
  7. 　状態特徴量取得部は、照度計を含む
    　ことを特徴とする請求項２に記載の自律移動システム。
  8. 　前記自己位置推定部が、
    　自己位置推定に失敗した画像及び状態特徴量を、前記学習処理部へ送る
    　ことを特徴とする請求項２に記載の自律移動システム。
  9. 　撮像部が、移動体の周囲環境を撮像する第１の撮像ステップを行い、
    　状態特徴量取得部が、前記第１の撮像ステップによる撮像時における状態特徴量を取得する第１の状態特徴量取得ステップを行い、
    　学習処理部が、前記状態特徴量と、前記撮像部で撮像された画像とを基に、自己位置推定に用いるパラメータの最適値を導出するための情報であるパラメータ情報を、学習処理によって生成する学習処理ステップを行い、
    　前記撮像部が、現在の移動体の周囲環境を撮像する第２の撮像ステップを行い、
    　前記状態特徴量取得部が、前記第２の撮像ステップによる撮像時における状態特徴量を取得する第２の状態特徴量取得ステップを行い、
    　自己位置推定部が、前記第２の撮像ステップで撮像された現在の周囲環境の画像と、前記第２の状態特徴量取得ステップで取得された現在の状態特徴量と、前記パラメータ情報とを用いて、前記パラメータを算出し、算出した前記パラメータを基に自己位置推定処理を行う自己位置推定ステップを行う
    　ことを特徴とする自己位置推定方法。
PCT/JP2019/007886 2018-05-09 2019-02-28 自己位置推定システム、自律移動システム及び自己位置推定方法 WO2019216005A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018090404A JP2019197350A (ja) 2018-05-09 2018-05-09 自己位置推定システム、自律移動システム及び自己位置推定方法
JP2018-090404 2018-05-09

Publications (1)

Publication Number Publication Date
WO2019216005A1 true WO2019216005A1 (ja) 2019-11-14

Family

ID=68467918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007886 WO2019216005A1 (ja) 2018-05-09 2019-02-28 自己位置推定システム、自律移動システム及び自己位置推定方法

Country Status (2)

Country Link
JP (1) JP2019197350A (ja)
WO (1) WO2019216005A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470754B2 (en) 2010-09-15 2022-10-18 Dawn Equipment Company Agricultural systems

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7322670B2 (ja) * 2019-11-13 2023-08-08 オムロン株式会社 自己位置推定モデル学習方法、自己位置推定モデル学習装置、自己位置推定モデル学習プログラム、自己位置推定方法、自己位置推定装置、自己位置推定プログラム、及びロボット
KR102278692B1 (ko) * 2019-11-26 2021-07-16 한국교통대학교산학협력단 자율주행 자동차에 대한 운전능력 훈련 및 평가를 위한 방법 및 장치
JP7461737B2 (ja) 2019-12-25 2024-04-04 株式会社日立製作所 移動体、および、そのナビゲーションシステム
JP7447922B2 (ja) * 2021-03-22 2024-03-12 株式会社リコー 表示システム、通信システム、表示制御方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288112A (ja) * 2009-06-12 2010-12-24 Nissan Motor Co Ltd 自己位置推定装置及び自己位置推定方法
WO2017168899A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 情報処理方法および情報処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288112A (ja) * 2009-06-12 2010-12-24 Nissan Motor Co Ltd 自己位置推定装置及び自己位置推定方法
WO2017168899A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 情報処理方法および情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470754B2 (en) 2010-09-15 2022-10-18 Dawn Equipment Company Agricultural systems

Also Published As

Publication number Publication date
JP2019197350A (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
WO2019216005A1 (ja) 自己位置推定システム、自律移動システム及び自己位置推定方法
EP3679549B1 (en) Visual-inertial odometry with an event camera
US20220343598A1 (en) System and methods for improved aerial mapping with aerial vehicles
CN107016367B (zh) 一种跟踪控制方法及跟踪控制系统
JP5177760B2 (ja) 動的校正機能付きカメラおよびその方法
JP4776587B2 (ja) 画像処理装置，運転支援装置
US20130162785A1 (en) Method and system for fusing data arising from image sensors and from motion or position sensors
CN111507132B (zh) 一种定位方法、装置及设备
JP2020008984A (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
CN113316755A (zh) 使用基于事件的视觉传感器的环境模型保持
JP2021043115A (ja) 画像処理装置、測距装置、方法及びプログラム
Maanpää et al. Multimodal end-to-end learning for autonomous steering in adverse road and weather conditions
JP2022039719A (ja) 位置姿勢推定装置、位置姿勢推定方法及びプログラム
WO2022198508A1 (zh) 镜头异常提示方法、装置、可移动平台及可读存储介质
CN110428461B (zh) 结合深度学习的单目slam方法及装置
CN113701750A (zh) 一种井下多传感器的融合定位系统
CN114821544B (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
CN117330050A (zh) 基于闭环路径的室内场景雷视融合数据采集方法及系统
JP7467368B2 (ja) 画像処理装置、測距装置、方法及びプログラム
WO2021210492A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111780744B (zh) 移动机器人混合导航方法、设备及存储装置
JP4812099B2 (ja) カメラ位置検出方法
WO2022130618A1 (ja) 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム
JP2019204390A (ja) オプティカルフロー推定装置、オプティカルフロー推定方法、オプティカルフロー推定システム、及びオプティカルフロー推定プログラム、並びにヨーレート推定装置、ヨーレート推定方法、ヨーレート推定システム、及びヨーレート推定プログラム
US20240132211A1 (en) System and methods for improved aerial mapping with aerial vehicles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19799747

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19799747

Country of ref document: EP

Kind code of ref document: A1