WO2020032157A1 - 物品位置推定システム及び物品位置推定方法 - Google Patents

物品位置推定システム及び物品位置推定方法 Download PDF

Info

Publication number
WO2020032157A1
WO2020032157A1 PCT/JP2019/031303 JP2019031303W WO2020032157A1 WO 2020032157 A1 WO2020032157 A1 WO 2020032157A1 JP 2019031303 W JP2019031303 W JP 2019031303W WO 2020032157 A1 WO2020032157 A1 WO 2020032157A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
reference point
time
information
moving body
Prior art date
Application number
PCT/JP2019/031303
Other languages
English (en)
French (fr)
Inventor
貴宏 長谷川
優仁 岩井
阿部 憲一
裕一郎 江連
伊藤 哲也
Original Assignee
日本電気通信システム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気通信システム株式会社 filed Critical 日本電気通信システム株式会社
Priority to US17/265,669 priority Critical patent/US20210312660A1/en
Priority to JP2020535866A priority patent/JP7136489B2/ja
Publication of WO2020032157A1 publication Critical patent/WO2020032157A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders

Definitions

  • the present invention is based on the priority claim of Japanese Patent Application No. 2018-150149 (filed on Aug. 9, 2018), the entire contents of which are incorporated herein by reference. Shall be.
  • the present invention relates to an article position estimation system and an article position estimation method.
  • the absolute position estimation includes satellite positioning (GPS (Global Positioning System) positioning), positioning using a radio wave signal, and a method using landmarks (marks and features) recognizable by a camera as reference points. .
  • GPS Global Positioning System
  • Satellite positioning has the advantage that it can be easily used with a signal receiver.
  • this method has a disadvantage in that it cannot receive signals and does not operate indoors when the satellite enters a blind spot.
  • the proximity positioning method and the triangulation positioning method using the strength of a radio signal have an advantage that they can be used indoors.
  • this method has a disadvantage that an error of about 15 m can occur due to the influence of interference or multipath (see Non-Patent Document 1).
  • the method of using a landmark that can be recognized by a camera as a reference point has the advantage that it can be used indoors and is not affected by radio interference or multipath.
  • this method has a disadvantage in that it is difficult to provide a reference point so as to cover an area to be measured in terms of a physical environment and operational costs.
  • the relative movement amount estimation there are a method using an inertial sensor and a method using an image captured by a camera.
  • the method of calculating the measured values of an inertial sensor for example, an acceleration sensor or a gyro sensor
  • acquiring the amount of change in the position and orientation does not require the provision of a positioning device or a reference point on the moving area side.
  • this method has disadvantages in that the accuracy deteriorates due to drift, coordination with the absolute position estimation is required to obtain the absolute position, and the continuity of the movement amount is interrupted when the processing is stopped. .
  • the method of using the feature amount extracted from the image captured by the camera has an advantage that it is not necessary to provide a positioning device or a reference point on the moving area side.
  • this method also has disadvantages in that accuracy is deteriorated due to drift, coordination with absolute position estimation is required to obtain an absolute position, and continuity of the movement amount is interrupted when processing is stopped.
  • the method of estimating a position using an image captured by a camera has a disadvantage that a processing load is high and power consumption is large.
  • Patent Document 1 discloses a technique of extracting a feature amount by using a camera and a laser scanner together, estimating the position of a moving object, and generating a 3D (Three Dimensions) model. Since the technique disclosed in Patent Document 1 also uses an image captured by a camera, the technique has the above-described disadvantages.
  • Patent Document 2 discloses updating an environmental map and using the environmental map for position estimation.
  • the technique of Patent Literature 2 aims at improving the accuracy and real-time property of updating the environmental map.
  • Patent Document 3 discloses associating a container with a cargo handling device that is a moving object.
  • the technique of Patent Document 3 aims to guarantee the accuracy of association between a moving object and a container.
  • each of the absolute position estimation and the relative movement amount estimation has advantages and disadvantages.
  • the relative movement amount estimation has a disadvantage that when the estimation process is stopped, the continuity of the movement amount is interrupted, so that the positioning is always required, and the processing load is high and the power consumption is large. That is, in estimating the relative movement amount using the image captured by the camera, the processing load on the arithmetic unit (computer) is high and the power consumption is large. For this reason, a method that uses both the absolute position estimation and the relative movement amount estimation is often used.
  • the main object of the present invention is to provide an article position estimation system and an article position estimation method that contribute to reducing the execution of the relative movement amount estimation having a high processing load and a large power consumption.
  • an article movement that generates article movement information including an article movement time that is a time at which an article is taken out by a moving body or a time at which installation of an article is completed by the moving body.
  • a recognition unit for recognizing a reference point and generating reference point recognition information including identification information of the recognized reference point, reference point recognition time, and information on the recognized reference point; Unit, based on the reference point recognition information, to generate information about the position of the moving body at the reference point recognition time, a position information generating unit, the position of the moving body at the article moving time, at least the reference point
  • An article position estimating system comprising: an article position estimating unit that estimates using the position of the moving object at a recognition time.
  • an article moving time which is a time at which the article is taken out by the moving body or a time at which the installation of the article is completed by the moving body.
  • Generating article movement information including: identifying a reference point; identifying reference point identification information; identifying a reference point recognition time; and information relating to the identified reference point.
  • Generating information on the position of the moving body at the reference point recognition time based on the reference point recognition information; and determining at least the reference point recognition at the position of the moving body at the article movement time. Estimating the position using the position of the moving body at a time.
  • an article position estimation system and an article position estimation method that contribute to reducing the execution of relative movement amount estimation having a high processing load and a large power consumption are provided.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an article position estimation system according to a first embodiment. It is a figure showing an example of the appearance of the mobile concerning a 1st embodiment.
  • FIG. 3 is a diagram illustrating an example of a processing configuration of a calculation unit according to the first embodiment. It is a figure showing an example of processing composition of an article position estimating device concerning a 1st embodiment. It is a figure for explaining operation of an article position estimating device concerning a 1st embodiment. It is a figure for explaining operation of an article position presumption system concerning a 1st embodiment. It is a figure for explaining operation of an article position presumption system concerning a 1st embodiment. It is a figure for explaining operation of an article position presumption system concerning a 1st embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the article position estimation device according to the first embodiment.
  • FIG. 9 is a diagram illustrating an example of another processing configuration of a calculation unit of a moving object.
  • connection lines between blocks in each drawing include both bidirectional and unidirectional.
  • the one-way arrow schematically indicates the flow of a main signal (data), and does not exclude bidirectionality.
  • a circuit diagram, a block diagram, an internal configuration diagram, a connection diagram, and the like shown in the disclosure of the present application although not explicitly shown, an input port and an output port exist at an input terminal and an output terminal of each connection line. The same applies to the input / output interface.
  • the article position estimation system includes an article movement recognition unit 101, a reference point recognition unit 102, a position information generation unit 103, and an article position estimation unit 104 (see FIG. 1).
  • the article movement recognition unit 101 is a means (article movement recognition means) for generating article movement information including an article movement time, which is a time at which an article is taken out by the moving body or a time at which the installation of the article is completed by the moving body.
  • the reference point recognition unit 102 recognizes the reference point and generates reference point recognition information including identification information of the recognized reference point, reference point recognition time, and information on the recognized reference point (reference unit). Point recognition means).
  • the position information generation unit 103 is a unit (position information generation unit) that generates information on the position of the moving object at the reference point recognition time based on the reference point recognition information.
  • the article position estimating unit 104 is a unit (article position estimating unit) for estimating the position of the moving body at the article moving time using at least the position of the moving body at the reference point recognition time.
  • the article position estimation system when estimating an article take-out position or an article installation position by a moving body, position estimation by absolute position estimation as necessary, and a combination of absolute position estimation and relative position estimation, Switch.
  • position estimation by absolute position estimation as necessary, and a combination of absolute position estimation and relative position estimation, Switch.
  • the article position estimating system uses the above-described “article picking-up” to determine the position of the mobile object estimated from a reference point (closest reference point) near the picking-up position or the installation position of the article.
  • the article position estimation system uses both absolute position estimation and relative position estimation. More specifically, as described later, the article position estimation system uses both an absolute position estimation based on reference point recognition and a relative movement amount estimation based on a movement history (movement trajectory) of a moving object to determine an article installation position and the like. Is estimated. At this time, the article position estimating unit 104 sets a minimum movement range (for example, a reference point recognized immediately before or immediately after the article installation and a moving body between the article installation position and the like) capable of estimating the installation position of the article.
  • a minimum movement range for example, a reference point recognized immediately before or immediately after the article installation and a moving body between the article installation position and the like
  • the article position estimation system realizes the article installation position estimation in which the high load processing and the power consumption are reduced.
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of the article position estimation system according to the first embodiment.
  • the article position estimation system includes a plurality of moving objects 10 and an article position estimation device 20.
  • the mobile unit 10 and the article position estimation device 20 are connected by wire or wirelessly, and are configured to be able to communicate with each other (transmit and receive data).
  • the position at which the installation of the article is completed by the moving body 10 is estimated by the article position estimation device 20. That is, the article position estimation device 20 estimates the installation position after the moving body 10 has moved the article based on the information obtained from the moving body 10.
  • the goods are, for example, containers stacked on pallets.
  • the article may be a cardboard, a box, a machine or a device.
  • the article position estimation system includes a plurality of reference points.
  • the reference point is, for example, a marker.
  • Specific examples of the marker include an ArUco marker, a barcode, a QR code (registered trademark), and a chameleon code.
  • the moving body 10 When recognizing the reference point, the moving body 10 is configured to be able to acquire coordinate information associated with the recognized reference point. Specifically, coordinate information associated with a reference point (identifier of the reference point) is stored in the storage unit of the moving object 10 in advance.
  • the reference point identifier is, for example, a numerical value assigned to the bit pattern of the ArUco marker when the ArUco marker is used as the reference point.
  • the coordinate information has at least absolute coordinates.
  • the coordinate system of the absolute coordinates may be a coordinate system or longitude and latitude with an arbitrary position (for example, an entrance) as an origin.
  • the coordinate information may include the direction of the reference point and the size of the reference point (scale information). This assumes that it is possible to calculate the position and orientation of the camera that has recognized the reference point by the Perspective-n-point method.
  • the reference point is information for associating a structure with a feature amount extracted from an image. This assumes that instead of providing markers, existing pillars, shelves, lockers, posters, etc. will be used instead of markers.
  • FIG. 3 is a diagram illustrating an example of the appearance of the moving body 10.
  • the moving body 10 is, for example, a forklift.
  • the moving body 10 may be a transport trolley or a “person”.
  • the moving body 10 includes an article transport / installation unit 11, an article movement notification unit 12, an external situation acquisition unit 13, and a calculation unit 14.
  • the calculation means 14 includes an article movement recognition unit 201, a reference point recognition unit 202, a movement history information acquisition unit 203, an operation control unit 204, a storage unit 205, and an information providing unit 206 (see FIG. 4). ). 3 and 4, illustration of hardware and processing modules for communicating with the article position estimation device 20 is omitted.
  • the calculation means 14 is, for example, a single board computer. Alternatively, the calculation means 14 may be a smartphone or a wearable device.
  • the arithmetic unit 14 includes a CPU (Central Processing Unit), a memory, a storage device, and the like, and realizes various processing modules by causing the CPU to execute programs.
  • CPU Central Processing Unit
  • the article carrying / installing means 11 is, for example, a fork of a forklift.
  • Forklifts are capable of lifting, transporting, and placing articles with forks.
  • the article transport installation means 11 is a robot arm.
  • the mobile unit 10 is a transport trolley
  • the transport of articles is an operation in which a person pushes / pulls the transport trolley
  • the installation of articles is an operation in which a person places the articles.
  • the moving body 10 is a person
  • the transportation and installation of the article is an operation in which the person carries the article.
  • various processing modules described later may be implemented by a smartphone or a wearable device.
  • the article movement notification means 12 is, for example, a “button” pressed by an operator of the moving body 10.
  • the calculation means 14 and the article movement notification means 12 are connected.
  • the article movement recognizing unit 201 mounted on the calculating means 14 detects that the button (article movement notifying means 12) is pressed.
  • an operation rule of "press a button at the time of taking out or placing an article” is defined.
  • the worker of the moving body 10 since the position where the article has been installed by the moving body 10 is estimated by the article position estimating device 20, the worker of the moving body 10 has to install the article (movement of the article has been completed). Press the button.
  • the above operation rules are examples, and in the case of a system different from that of FIG. 2, different operation rules are determined. That is, the above operation rules are rules required in the case of the system as shown in FIG.
  • the article movement recognition unit 201 generates “article movement information” when detecting the press of the button.
  • the article movement information includes the article movement time.
  • the article moving time is a time at which an article is taken out by the moving body 10 (article take-out time) or a time at which the installation of the article by the moving body 10 is completed (article installation completion time).
  • the article movement information in order to estimate an installation position of an article, includes “article installation completion time”.
  • the article movement recognition unit 201 recognizes that the article has been installed at the predetermined position, and generates article movement information including the article installation completion time, which is the time at which the article was arranged.
  • the article movement notification means 12 may be a “button” displayed on the smartphone.
  • the article movement notification means 12 may be an inertial sensor.
  • the article movement recognition unit 201 may recognize that the article has been stored based on the measurement value of the inertial sensor.
  • the inertial sensor includes a gyro sensor, an acceleration sensor, a geomagnetic sensor, a force sensor, a weight sensor, and the like.
  • the article movement notification means 12 may be a camera.
  • the article movement recognition unit 201 detects that the article has been stored from the image captured by the camera.
  • the article movement recognizing unit 201 can be realized by a moving object recognition program that detects an operation of installing an article, an operation rule of “photographing an installed article”, and an image recognition program.
  • the external situation acquisition means 13 is, for example, a camera.
  • the calculating means 14 and the external situation obtaining means 13 are connected.
  • the reference point recognition unit 202 mounted on the calculating means 14 acquires an image taken by the camera, extracts a feature amount, compares the extracted feature amount with a feature amount of each prepared reference point, and detects any one of the reference points. It is determined whether or not it has been done.
  • the reference point recognition unit 202 generates “reference point recognition information” based on the result of the above determination.
  • the reference point recognition information includes, for example, identification information of the recognized reference point, a time at which the reference point was recognized (reference point recognition time), and information on the recognized reference point.
  • the information on the recognized reference point is, for example, a captured image at the time of reference point recognition.
  • the reference point recognition unit 202 recognizes a reference point and generates reference point recognition information.
  • the reference point recognition information is used for calculating the position of the moving body 10 by the position information generation unit 302 of the article position estimation device 20 described later.
  • the reference point recognition information may include identification information of the recognized reference point, a time at which the reference point is recognized, and a feature amount extracted from the captured image at the time of the reference point recognition.
  • the “position” of the moving object 10 or the article includes information on these coordinates. Further, the “position” of the moving body 10 or the article may include information on the orientation of the moving body 10 or the article. That is, the article position estimation device 20 may estimate “coordinates” of the moving body 10 or the like, or may estimate “coordinates and orientation” of the moving body 10 or the like. Alternatively, a predetermined range centered on one point may be treated as “position”. For example, the article position estimation device 20 may estimate a predetermined range centered on one point as the position of the moving body 10 or the like.
  • the reference point recognition information may include information on the time at which the reference point was recognized and the position of the moving object 10 at that time. This assumes that the reference point recognition unit 202 includes the position information generation unit 302 of the article position estimation device 20 described later.
  • the movement history information acquisition unit 203 of the calculation means 14 is means for acquiring movement history information relating to movement of the own device (the moving body 10).
  • the movement history information acquiring unit 203 acquires an image captured by a camera and generates “movement history information”.
  • the movement history information is, for example, a set including a pair of a captured image and the image acquisition time as an element. It is assumed that the movement history information is used for calculating the amount of change in the position of the moving object 10 by the position change information generation unit 303 of the article position estimation device 20 described later.
  • the movement history information acquisition unit 203 may acquire the measurement value of the inertial sensor and use the measurement value as “movement history information”.
  • the movement history information is a set of pairs of the measurement value of the inertial sensor and the measurement time.
  • the measured value or the movement control information of the moving object 10 by the odometer may be included in the movement history information.
  • the movement history information acquisition unit 203 may generate the movement history information by using a measurement value of a laser scanner or LIDAR (Light Detection and Ranging).
  • the movement history information is a set of pairs of measurement values and measurement times of the laser scanner or LIDAR.
  • the movement history information may be two times and the amount of change in the position of the moving object 10 occurring between the two times. This assumes that the movement history information acquisition unit 203 includes the position change information generation unit 303 of the article position estimation device 20 described below.
  • the operation control unit 204 acquires, for example, each of the article movement information, the reference point recognition information, and the movement history information from each module, and stores the acquired information in the storage unit 205.
  • the operation control unit 204 is a unit that controls the reference point recognition unit 202 and the movement history information acquisition unit 203.
  • the operation control unit 204 controls the operation (start or stop) of the modules (the reference point recognition unit 202 and the movement history information acquisition unit 203). An example of the operation of the operation control unit 204 (the operation of the moving body 10) will be described later.
  • the storage unit 205 is, for example, a recording area built in or externally connected to a single board computer. Alternatively, the storage unit 205 is a recording area built in or externally connected to the smartphone. In addition, various media are conceivable as the storage unit 205. However, since the purpose is to record information and read the recorded information, any medium can be used.
  • the storage unit 205 stores article movement information, reference point recognition information, movement history information, and pairs of identification information and coordinate information of each reference point.
  • the information providing unit 206 is a unit that provides information required by the article position estimating apparatus 20 so that the article position can be estimated by the apparatus.
  • the information providing unit 206 reads out the article movement information, the reference point recognition information, the movement history information, and the pair of the identification information and the coordinate information of each reference point from the storage unit 205.
  • the information providing unit 206 transmits these pieces of information to the article position estimation device 20.
  • the information providing unit 206 extracts all or part of the read reference point recognition information and the movement history information, and transmits the extracted information (reference point recognition information and movement history information) to the article position estimation device 20. I do. For example, the information providing unit 206 obtains the reference point recognition information generated based on the reference point recognized immediately before the completion of the article installation (article movement time) and the information obtained from the recognition of the reference point to the completion of the article installation. The transmitted movement history information and the article position estimation device 20 are transmitted.
  • the information providing unit 206 may provide the reference point recognition information generated based on the reference point recognized for the first time after the completion of the article installation and the reference point recognition information recognized immediately after the article installation after the completion of the article installation.
  • the acquired movement history information is transmitted to the article position estimation device 20.
  • the information providing unit 206 transmits the information based on the data size. Information to be performed may be selected. Specifically, the information providing unit 206 converts the reference point recognition information corresponding to the information having a small data size out of the movement history information acquired during the period based on the two reference point recognitions before and after the article position as the article position. It may be transmitted to the estimation device 20. As described above, when the reference point is recognized before the installation time and the reference point is also recognized after the installation time, the information providing unit 206 determines that the information having the smaller data size of the two pieces of movement history information. The corresponding reference point recognition information may be transmitted to the article position estimation device 20.
  • the information providing unit 206 transmits the article movement information, all or some reference point recognition information, all or some movement history information, and a pair of identification information and coordinate information of each reference point to the article position estimating device 20. Send to At that time, the information providing unit 206 transmits each of the reference point recognition information and the movement history information to the article position estimating device 20 so as to have a minimum range based on the size of the recording information. Note that the information providing unit 206 transmits the information when an article is installed, or when a reference point is detected for the first time after the article is installed. Alternatively, the information providing unit 206 transmits the information in response to a request from the article position estimation device 20.
  • FIG. 5 is a diagram illustrating an example of a processing configuration (processing module) of the article position estimation device 20 according to the first embodiment.
  • the article position estimation device 20 includes an information acquisition unit 301, a position information generation unit 302, a position change information generation unit 303, and an article position estimation unit 304.
  • illustration of a processing module for communicating with the mobile object 10 is omitted.
  • the information acquisition unit 301 is a unit that acquires information (reference point recognition information, movement history information, and the like) transmitted from the moving body 10.
  • the position information generation unit 302 is a unit that generates information on the position of the moving object 10 at the reference point recognition time based on the reference point recognition information.
  • the position information generation unit 302 calculates the position (coordinates and direction) of the camera with respect to the reference point based on the angle of view of the camera and the feature amount extracted from the captured image by, for example, the Perspective-n-point method.
  • the position information generation unit 302 calculates the position (absolute coordinate system) of the moving body 10 at the time of reference point recognition based on the calculated coordinates and direction of the camera and the absolute coordinates and direction of the recognized reference point. . That is, the position information generation unit 302 calculates the coordinates and the direction of the camera with the recognized reference point as a reference (origin) from the image included in the reference point recognition information. Thereafter, the position information generation unit 302 converts the calculated coordinates and orientation of the camera into positions (coordinates and orientation) in the absolute coordinate system using the coordinate information (absolute coordinate system) of the recognized reference point.
  • the position change information generation unit 303 moves the moving object 10 between the reference point recognition time and the article installation completion time. This is means for generating information relating to the amount of change in position.
  • the position change information generation unit 303 extracts a feature amount from a plurality of images captured by the camera, and generates a transition (optical flow) of a feature point between the images.
  • the position change information generation unit 303 calculates the amount of change in the coordinates and direction of the camera by generating the transition of the feature point, and calculates the amount of change in the coordinates and direction of the camera as the amount of change in the position of the moving object 10 ( (Coordinate and direction change).
  • the position change information generation unit 303 calculates the amount of change in the position of the moving object 10 by integrating the measurement value of the inertial sensor.
  • the position change information generation unit 303 may calculate the amount of change in the position of the moving body 10 from a measurement value of a laser scanner or LIDAR, instead of acquiring a feature point from an image.
  • the position change information generation unit 303 may use the reference point recognition information or the absolute position and orientation of the moving object 10 as correction information.
  • the article position estimating unit 304 is means for estimating the position of the moving body 10 at the article moving time (article installation completion time in the first embodiment) using at least the position of the moving body 10 at the reference point recognition time.
  • the article position estimating unit 304 sets the position of the moving body 10 at the reference point recognition time to the “article installation position”. Treat as ".
  • the article position estimating unit 304 determines the “article installation position” of the moving body 10 by the following method. presume.
  • the article position estimating unit 304 calculates the position (absolute coordinate system) of the moving body 10 at the reference point recognition time and the amount of change in the position of the moving body 10 between the reference point recognition time and the article installation completion time. Based on this, the position of the moving body 10 at the time of article installation is estimated. That is, the article position estimating unit 304 reflects the amount of change up to the completion of the article installation on the position (absolute coordinate system) of the moving body 10 at the reference point recognition time, and thereby the position (coordinates, direction; (Absolute coordinate system).
  • the article position estimating unit 304 changes the usage of the amount of change reflected on the position of the moving body 10 based on the order of the reference point recognition time and the article movement time (article installation completion time). Specifically, when the reference point is recognized first and then the article is installed (reference point recognition time ⁇ article installation completion time), the article position estimating unit 304 determines the position (absolute coordinate system) of the moving body 10. On the other hand, the amount of change is reflected in the forward direction (tracing the movement trajectory of the moving body 10).
  • the article position estimating unit 304 determines the position of the moving body 10 based on the reference point (the absolute coordinate system). ) Is reflected in the opposite direction (the movement locus of the moving body 10 is traced back).
  • FIG. 6 shows the operation of the article position estimating apparatus 20 as shown in FIG.
  • the mobile unit 10 When recognizing the reference point, the mobile unit 10 generates reference point recognition information.
  • the article position estimating device 20 calculates the position of the moving body 10 when the reference point is recognized based on the reference point recognition information.
  • the article position estimating apparatus 20 obtains (X, Y) as the position of the moving body 10.
  • the moving body 10 moves after recognizing the reference point.
  • the moving body 10 accumulates (measures) information (movement history information) for calculating the amount of change in coordinates and direction.
  • the article position estimation device 20 calculates the amount of change in the position of the moving object 10 based on the movement history information.
  • the article position estimating apparatus 20 obtains ( ⁇ X, ⁇ Y) as a change amount related to the coordinates of the moving body 10.
  • the example of FIG. 6 describes the article position estimation in the two-dimensional coordinate system
  • the article position estimation in the (X, Y, Z) three-dimensional coordinate system is of course also possible.
  • yaw, pitch, and roll can be used as the orientation in the three-dimensional coordinate system.
  • the article position estimating device 20 reflects the amount of change obtained from the movement history information between the reference point recognition and the article placement completion to the coordinates of the moving object 10 at the time of reference point recognition, and the article placement is completed.
  • the estimated position is estimated. For example, in the example of FIG. 6, (X + ⁇ X, Y + ⁇ Y) is estimated as the article installation position.
  • the mobile unit 10 operates the reference point recognition unit 202 and the movement history information acquisition unit 203 at the time of starting transportation of an article (step S01).
  • the moving body 10 generates movement history information while the article is being transported, and stores it in the storage unit 205 (Step S02).
  • the mobile unit 10 When the mobile unit 10 recognizes the reference point, it generates reference point recognition information and stores it in the storage unit 205 (step S03).
  • the moving object 10 repeats the above processing.
  • Step S04 When the moving body 10 moves to the installation location of the article and installs the article, article movement information is generated and stored in the storage unit 205 (Step S04). With the generation of the article movement information, the moving body 10 stops the operations of the reference point recognition unit 202 and the movement history information acquisition unit 203.
  • the moving body 10 uses the reference point recognition information generated by the reference point recognized immediately before the article installation, the movement history information from the reference point recognition to the completion of the article installation, and the article movement information by using the article position estimating apparatus. 20 (step S05).
  • the article position estimating system includes a part of a series of operations of the moving object 10 by the operation of the moving object 10 shown in FIG. 7 and the operations of the reference point recognition unit 202 and the movement history information acquiring unit 203. Acquire and record information obtained during the period. Since the article position estimating device 20 only needs to estimate the article installation position using the information obtained during the partial period, the power consumption required for the position estimation is reduced.
  • the moving body 10 when completing the installation of the article, the moving body 10 activates the reference point recognition unit 202 and the movement history information acquisition unit 203, generates the article movement information, and stores it in the storage unit 205 (step S11).
  • the mobile unit 10 generates the movement history information during the movement, and stores it in the storage unit 205 (Step S12).
  • the mobile unit 10 When the mobile unit 10 recognizes the reference point, it stops the operations of the reference point recognition unit 202 and the movement history information acquisition unit 203, generates reference point recognition information, and stores it in the storage unit 205 (step S13).
  • the mobile unit 10 estimates the article position based on the reference point recognition information generated by the reference points recognized immediately after the article installation, the movement history information from the time when the article installation is completed to the time when the reference point is recognized, and the article movement information.
  • the data is transmitted to the device 20 (step S14).
  • the mobile unit 10 activates the reference point recognition unit 202 and the movement history information acquisition unit 203 upon completion of the article installation, and stops the operation of these processing modules upon subsequent reference point recognition. Good. Even in this case, since the article position estimating device 20 only needs to estimate the article installation position using information obtained during the partial period, the power consumption required for the position estimation is reduced.
  • the moving body 10 may continuously perform operations related to reference point recognition and acquisition of movement history information.
  • the mobile unit 10 compares the data sizes of the information (reference point recognition information and movement history information) obtained before and after the completion of the article installation, and compares the information having the smaller data size with the article position estimating apparatus 20. (Step S21).
  • the article position estimating device 20 since the article position estimating device 20 only needs to estimate the article installation position using the information obtained during the partial period, the power consumption required for the position estimation is reduced.
  • the article position estimation device 20 When the time difference between the article installation completion time and the reference point recognition time is smaller than a predetermined threshold, the article position estimation device 20 omits execution of the process of acquiring the amount of change in the position of the moving body 10 and The change amount may be treated as zero.
  • the threshold value is incorporated in the processing module of the article position estimation device 20 as a predefined constant or a variable that can be dynamically changed. Which of the first to fourth operation examples is adopted by the article position estimation system is determined in advance or can be dynamically changed.
  • FIG. 10 is a diagram illustrating an example of a hardware configuration of the article position estimation device 20.
  • the article position estimating apparatus 20 has a configuration illustrated in FIG.
  • the article position estimating apparatus 20 includes a CPU (Central Processing Unit) 21, a memory 22, an input / output interface 23, a communication circuit 24 as communication means, and the like, which are mutually connected by an internal bus.
  • a CPU Central Processing Unit
  • the configuration shown in FIG. 10 is not intended to limit the hardware configuration of the article position estimation device 20.
  • the article position estimation device 20 may include hardware (not shown).
  • the number of CPUs and the like included in the article position estimating device 20 is not limited to the example illustrated in FIG. 10.
  • a plurality of CPUs 21 may be included in the article position estimating device 20.
  • the memory 22 is a RAM (Random Access Memory), a ROM (Read Only Memory), an auxiliary storage device (such as a hard disk), or the like.
  • the input / output interface 23 is an interface of an input / output device (not shown).
  • the input / output device includes, for example, a display device, an operation device, and the like.
  • the display device is, for example, a liquid crystal display or the like.
  • the operation device is, for example, a keyboard or a mouse.
  • the function of the article position estimating device 20 is realized by the above-described processing module.
  • the processing module is realized, for example, by the CPU 21 executing a program stored in the memory 22. Also, the program can be downloaded via a network or updated using a storage medium storing the program. Further, the processing module may be realized by a semiconductor chip. That is, the function performed by the processing module may be realized by any hardware or software executed using the hardware.
  • the article position estimation system when the accuracy of the position estimation is not required, the article installation position is estimated by the absolute position estimation (for example, the fourth operation example).
  • the article position estimation system when the accuracy of position estimation is required, the article position estimation system performs absolute position estimation based on reference point recognition and relative movement amount estimation based on movement history information (information on movement amount measurement and movement amount measurement). They are used together (for example, the first to third operation examples).
  • the reference point recognition operation and the exercise amount measurement operation are performed only in the minimum movement range where the installation position of the article can be estimated.
  • the minimum movement history information becomes a calculation target of the relative movement amount estimation, and the power consumption is reduced. That is, the article position estimating system according to the first embodiment can reduce the calculation resource consumption and the power consumption.
  • the normal relative movement estimation has disadvantages in that, when the processing is stopped, the continuity of the movement is interrupted, so that the positioning is always required, and the processing load is high and the power consumption is large.
  • the position to be acquired is the article installation position, and the moving trajectory of the moving object is not necessarily required. In view of such circumstances, in the present disclosure, only the minimum movement history information is set as a calculation target of the relative movement amount estimation, thereby reducing the calculation resource consumption and the power consumption.
  • the present disclosure by using both the absolute position estimation and the relative position estimation, it is possible to minimize the reference points set (prepared) in the system.
  • a method in which a large number of reference points are provided and the article installation position is obtained only by estimating the absolute position by reference point recognition is conceivable.
  • providing a reference point so as to cover an indoor moving area cannot always be realized in terms of a physical environment and work costs of an operator.
  • the article position estimation system according to the first embodiment can also solve the problem.
  • the article position estimating device 20 estimates an installation position of an article by the moving body 10.
  • the article position estimating apparatus 20 estimates the position at which the mobile object 10 takes out an article.
  • processing configuration and the like of the moving object 10 and the article position estimating device 20 according to the second embodiment can be the same as the configuration of the first embodiment, and the description corresponding to FIGS. 3 to 5 is omitted. I do.
  • the article movement recognition unit 201 is connected to, for example, a “button (article removal notification unit)” pressed when the worker of the moving body 10 takes out the article, and detects the press of the button.
  • a button article removal notification unit
  • an operation rule of "press a button when taking out an article” is defined.
  • the article movement recognition unit 201 generates “article movement information” when detecting the press of the button.
  • the article movement information includes at least the time at which the moving body 10 removed the article from a predetermined place (article removal time).
  • the article movement recognition unit 201 recognizes that the article has been taken out from the predetermined position, and generates article movement information including the article taking-out time, which is the time at which the article was taken out.
  • the article movement information is stored in the storage unit 205.
  • the information providing unit 206 reads out the article movement information from the storage unit 205 and transmits the article movement information to the article position estimation device 20 together with other information.
  • the article position estimating device 20 estimates the article take-out position of the moving body 10 by the same method as that described in the first embodiment.
  • the position change information generation unit 303 generates information on the amount of change in the position of the moving body 10 between the reference point recognition time and the article removal time based on the movement history information, the reference point recognition time, and the article removal time. Generate.
  • the article position estimating unit 304 determines the position of the moving body 10 at the time of article removal based on the position of the moving body 10 at the reference point recognition time and the amount of change in the position of the moving body 10 between the reference point recognition time and the article removal time. Is estimated.
  • the article position estimating device 20 can estimate the article take-out position by the moving body 10. That is, the article position estimating apparatus 20 can estimate where the article was placed when the moving object 10 took out the article from the article storage space.
  • the position change information generation unit 303 calculates the amount of change in the position of the moving body 10 in the minimum moving range in which the position at which the article is taken out by the moving body 10 can be estimated, as in the first embodiment. Therefore, power consumption required for position estimation can be reduced.
  • the article position estimation device 20 when accuracy is not required for estimating the article position (estimating the removal position), the article position estimation device 20 removes the article without using the amount of change in the position of the moving body 10. Estimate the position.
  • the article position estimating apparatus 20 acquires “article movement information” from the moving object 10.
  • the article position estimating device 20 reflects the amount of change in the position of the moving body 10 between the time at which the article was taken out and the time at which the reference point was recognized on the absolute coordinates of the reference point recognized before and after the article taking out time. This makes it possible to estimate the article take-out position by the moving body 10.
  • the article installation position (coordinates, direction, all or part of the range), the article installation completion time, the article identifier (for example, a bar code number or a character string), Is prepared as a record.
  • the article identifier for example, a bar code number or a character string
  • the article take-out position instead of the article installation position, or to record both of them.
  • a flag for distinguishing between installation and removal may be used.
  • the management device searches the database using the position (all or part of the coordinates, direction, and range) as a key, and obtains the time and identifier of the article installed at the position.
  • the range of the position to be searched may be selected by designating a range of coordinates using a comparison operator or the like.
  • the management device may narrow down the search range by using the time together with the search key.
  • the management device creates a list of times and identifiers of articles installed or taken out at the search position based on the search result as an entry / exit ledger.
  • the management device can receive the time as input and create a list of the article installation positions at the time as an article position map. At this time, if the articles in the installed state and the articles in the removal state are mixed at the time, the management apparatus can also display these states separately. Regarding the determination of the installation state and the removal state of the article, the management device can distinguish whether the state where the article is last recorded before the designated time is the installation state or the removal state.
  • the operation means 14 of the moving body 10 may be provided with an article installation recognition section 207 and an article removal recognition section 208 as shown in FIG.
  • the article installation recognition section 207 operates in the same manner as the article movement recognition section 201 described in the first embodiment
  • the article removal recognition section 208 operates in the same manner as the article movement recognition section 201 described in the second embodiment. Therefore, the description is omitted.
  • the article position estimating apparatus 20 is installed (installed outside) separately from the moving body 10, but an equivalent function may be implemented inside the moving body 10. In this case, information on the article installation position is acquired from the moving body 10 as necessary.
  • the article position estimating apparatus 20 When the article position estimating apparatus 20 is arranged outside the moving object 10, it may be implemented as a program on an on-premises server or a program on a cloud service.
  • the article position estimating apparatus 20 is disposed inside the mobile object 10, it is considered that the article position estimating apparatus 20 is implemented as a program on a single-board computer, a smartphone, or a wearable device.
  • the storage unit 205 is arranged inside the moving object 10, but an example in which the storage unit 205 is arranged both inside and outside the moving object 10 can be considered.
  • the article movement information, the reference point recognition information, and the movement history information are recorded on a recording device inside the moving body 10, and the pair of the identification information and the coordinate information of each reference point is recorded on a recording device outside the moving body 10. .
  • the camera can be mounted fixedly on a forklift or transport trolley, mounted by a moving person wearing the camera, or held in the hand.
  • the camera include a general digital camera, a small Web camera, a camera with a built-in smartphone, a camera with a built-in wearable device, and the like.
  • a method of acquiring information from the storage unit 205 As a method of acquiring information from the storage unit 205, a method of directly acquiring the item position estimation device 20 without using the information providing unit 206, a method of relaying and acquiring the operation control unit 204, and the like are considered.
  • the timing at which the position estimation by the article position estimating device 20 is performed is performed when the article movement recognition unit 201 recognizes the installation of the article, when the reference point recognition unit 202 detects the reference point, or when the article movement information or It is conceivable that the reference point recognition information is written.
  • the cycle timer of the article position estimating apparatus 20 has expired, when the program for acquiring the amount of change in the position of the moving body 10 detects a special operation (such as a stop operation) of the moving body 10, Conceivable.
  • the timing may be, for example, when an external trigger instructing execution of the article position estimation device 20 is given.
  • the operations of the article movement recognizing unit 201, the reference point recognizing unit 202, the moving history information acquiring unit 203, and the operation control unit 204 may be completed in the inside of the moving body 10 or may involve communication with the outside of the moving body 10.
  • the moving body 10 may transmit all the reference point information and the movement history information to the article position estimating apparatus 20, and the article position estimating apparatus 20 may select necessary information.
  • the trajectory of the moving body 10 is calculated at the time of relative movement estimation (estimation of the amount of change of the moving body 10).
  • the position change information generation unit 303 may calculate a range (movable range) that the moving body 10 can take.
  • the position change information generating unit 303 calculates a result obtained by multiplying the moving speed (for example, the maximum speed or the average speed) of the moving object 10 by the moving time (for example, the difference between the reference point recognition time and the article installation completion time). It is calculated as a moving radius of 10.
  • the article position estimating unit 304 calculates the position of the moving body 10 at the reference point recognition time as the center of the circle and the range (inside the circle) where the moving radius is the radius of the circle as the article installation position by the moving body 10. I do. That is, as the article installation position, not only the coordinates and the direction of the moving body 10 but also the range that the moving body 10 can take are introduced, and the article position estimating apparatus 20 defines the moving radius as a radius around the position at the time of recognition of the reference point. It may be determined that the article is placed anywhere inside the circle.
  • the moving speed of the moving body 10 may be stored in the article position estimation device 20 as a constant in advance, or the moving body 10 may calculate the speed and notify the article position estimation device 20.
  • the article installation position (similarly the article take-out position) may be estimated as a range indicated by a circle instead of a point.
  • the article position estimating apparatus 20 may calculate the range that the moving body 10 can take without calculating the movement trajectory of the moving body 10 in the relative movement estimation.
  • the power consumption required for estimating the relative movement amount is large.
  • the article position estimating apparatus 20 calculates only the movement radius, the calculation can be executed at high speed and with low power consumption.
  • the moving radius is used for estimating the article installation position and the article taking-out position, the position of the article is fixed to the value at the time of recognition of the reference point, and the range (moving radius) that the moving body 10 can take depends on time. Will change.
  • the time and power required for estimating the relative movement amount can be significantly reduced even if the accuracy of estimating the article installation position or the article removal position is reduced. Is a great advantage.
  • the present invention improves the efficiency of article management work, the efficiency of article storage location management, the efficiency of inventory inventory of articles, and the efficiency of product management.
  • the present invention can be suitably applied to systems, efficient management of product placement locations, map creation systems, and the like.
  • the present invention can be suitably applied to applications such as reflecting equipment and equipment installed on a floor in a floor map.
  • [Appendix 1] This is the same as the article position estimation system according to the first viewpoint described above.
  • [Appendix 2] Acquiring movement history information related to the movement of the moving body, a movement history information acquisition unit, A position change information generation unit that generates information related to a change amount of a position of the moving body between the reference point recognition time and the article movement time based on the movement history information, the reference point recognition time, and the article movement time;
  • the article position estimating unit Estimating the position of the moving body at the article movement time based on the position of the moving body at the reference point recognition time and a change amount of the position of the moving body between the reference point recognition time and the article movement time.
  • the position change information generation unit calculates an amount of change in the position of the moving body in a minimum movement range in which the position of the moving body at the article moving time can be estimated. Estimation system.
  • the position change information generation unit uses the movement history information acquired between a reference point recognition time immediately before the article movement time and the article movement time to generate information regarding a change amount of the position of the moving body.
  • the article position estimation system according to attachment 3.
  • the position change information generation unit uses the movement history information acquired between a reference point recognition time immediately after the article movement time and the article movement time to generate information on a change amount of the position of the moving body.
  • the article position estimation system Preferably the article position estimation system according to attachment 3.
  • the position change information generation unit First movement history information acquired between the reference point recognition time immediately before the article movement time and the article movement time, and the first movement history information obtained between the reference point recognition time immediately after the article movement time and the article movement time.
  • the article position estimation according to claim 3 further comprising: comparing the second movement history information with the second movement history information acquired in the step (a), and using the movement history information having a small data size to generate information relating to the amount of change in the position of the moving body. system.
  • the article position estimating unit changes how to use the amount of change in the position of the moving object to be reflected on the position of the moving object, based on the relationship between the reference point recognition time and the article moving time, preferably, additional notes 2 to 7.
  • the article position estimation system according to any one of 6.
  • the article position estimating unit when the reference point recognition time is earlier than the article movement time, reflects the amount of change in the forward direction with respect to the position of the moving object at the reference point recognition time, If the reference point recognition time is later than the article movement time, the change amount is reflected in a direction opposite to the position of the moving body at the reference point recognition time, preferably the article position estimation according to Supplementary Note 7. system.
  • the position change information generating unit calculates a distance at which the moving body can move from a reference point as a moving radius
  • the article position estimating unit estimates the position of the moving body at the reference point recognition time as the center of a circle and the range of the moving radius as the radius of the circle as the position of the moving body at the article moving time, preferably.
  • This program can be recorded on a computer-readable storage medium.
  • the storage medium can be non-transient, such as a semiconductor memory, hard disk, magnetic recording medium, optical recording medium, and the like.
  • the present invention can be embodied as a computer program product. [Appendix 13] This is the same as the article position estimation method according to the second viewpoint described above.
  • the forms of Supplementary Note 12 and Supplementary Note 13 can be expanded to the forms of Supplementary Note 2 to Supplementary Note 11, similarly to the form of Supplementary Note 1.
  • any numerical values or small ranges included in the ranges should be construed as being specifically described even if not otherwise specified.
  • the disclosures of the above-cited documents may be used, if necessary, in accordance with the gist of the present invention, as part of the disclosure of the present invention, by using part or all of the disclosure in combination with the description in this document. It is considered to be included (belongs to) in the disclosure of the present application.

Abstract

電力消費が大きい相対移動量推定の実行を削減する物品位置推定システムを提供する。物品位置推定システムは、物品移動認識部と、基準点認識部と、位置情報生成部と、物品位置推定部と、を含む。物品移動認識部は、移動体により物品が取り出された時刻又は移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成する。基準点認識部は、基準点を認識し、認識された基準点の識別情報と、基準点認識時刻と、認識された基準点に関する情報と、を含む基準点認識情報を生成する。位置情報生成部は、基準点認識情報に基づき、基準点認識時刻における移動体の位置に関する情報を生成する。物品位置推定部は、物品移動時刻における移動体の位置を、少なくとも基準点認識時刻における移動体の位置を用いて推定する。

Description

物品位置推定システム及び物品位置推定方法
 [関連出願についての記載]
 本発明は、日本国特許出願:特願2018-150149号(2018年8月9日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
 本発明は、物品位置推定システム及び物品位置推定方法に関する。
 任意の場所に設置される業務資材などの物品の位置を記録する方法として、物品を運搬する移動体の位置を取得し、物品が設置された際の移動体の位置と物品の識別子を紐付けて記録する方法が存在する。移動体の位置を取得する方法として、絶対的な位置を取得する絶対位置推定と、相対的な移動量を取得する相対移動量推定の二種の方法が存在する。
 絶対位置推定には、衛星測位(GPS(Global Positioning System)測位)、無線電波信号を用いた測位、カメラで認識可能なランドマーク(目印、特徴物)を基準点として利用する方法等が存在する。
 衛星測位(GPS測位)には、信号受信機さえあれば容易に利用できるという長所が存在する。一方で、当該手法には、衛星が死角に入る屋内では信号を受信できず動作しないという短所が存在する。
 無線電波信号の強度(RSSI;Received Signal Strength Indicator)を用いた近接測位や三角測位による方法には屋内でも利用できるという長所が存在する。一方、当該手法には、干渉やマルチパスの影響により15m前後の誤差が発生し得るという短所が存在する(非特許文献1参照)。
 また、カメラで認識可能なランドマークを基準点として利用する方法には、屋内でも利用でき電波干渉やマルチパスの影響が無いという長所が存在する。一方、当該手法には、測位したいエリアを網羅するように基準点を設けることが物理環境の面や運用上の作業コストの面で困難となる短所が存在する。
 相対移動量推定として、慣性センサを利用する方法や、カメラの撮影画像を利用する方法が存在する。
 慣性センサ(例えば、加速度センサやジャイロセンサ)の計測値を演算して位置と向きの変化量を取得する方法には、移動エリア側に測位用の機器や基準点などを設ける必要が無いという長所が存在する。一方、当該手法には、ドリフトに伴い精度が劣化する、絶対位置を得るためには絶対位置推定との連携が必要となる、処理を停止すると移動量の連続性が途切れる、という短所が存在する。
 カメラの撮影画像から抽出した特徴量を利用する方法も同様に、移動エリア側に測位用の機器や基準点などを設ける必要が無いという長所が存在する。一方、当該手法にも、ドリフトに伴い精度が劣化する、絶対位置を得るためには絶対位置推定との連携が必要となる、処理を停止すると移動量の連続性が途切れる、という短所が存在する。また、カメラの撮影画像を利用した位置推定の方法には、処理負荷が高く電力消費も大きいという短所も存在する。
 特許文献1には、カメラとレーザスキャナを併用して特徴量を抽出し、移動体の位置を推定し、3D(Three Dimensions)モデルを生成する技術が開示されている。特許文献1に開示された技術もカメラによる撮影画像を利用するため、当該技術にも上述の短所が存在する。
 特許文献2には、環境地図を更新し、かつ環境地図を位置推定に用いることが開示されている。特許文献2の技術では、環境地図更新の精度とリアルタイム性を高くすることを目的としている。
 特許文献3には、コンテナを移動体である荷役装置に関連付けることが開示されている。特許文献3の技術では、移動体とコンテナの関連付け精度を保証することを目的としている。
特開2014-173990号公報 特開2015-171933号公報 特表2012-532816号公報
財団法人 ニューメディア開発協会、"屋内測位普及発展に関する調査研究 報告書"、2009年3月
 なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。
 上述のように、絶対位置推定と相対移動量推定のそれぞれには長所、短所が存在する。とりわけ、相対移動量推定には、その推定処理を停止すると移動量の連続性が途切れるため常時測位が必要であり、処理負荷が高く電力消費も大きいという短所が存在する。つまり、カメラによる撮影画像を利用した相対移動量推定は、演算装置(コンピュータ)の処理負荷が高く電力消費も大きい。このため、絶対位置推定と相対移動量推定を併用する方法が用いられることも多い。
 例えば、カメラで認識可能なランドマークを基準点として利用する絶対位置推定と、カメラの撮影画像から抽出した特徴量を利用する相対移動量推定を併用する方法が考えられる。しかし、物品設置位置の記録という目的においては、取得したい位置は物品設置位置に限られ、移動体の位置を得ることは物品設置位置を得るための手段に過ぎない。つまり、物品が最終的に設置された位置が重要なのであって、物品がどのような経路を辿って設置されたかといった情報は不要である。絶対位置推定と相対位置推定を併用して物品の移動経路を全て算出するような方法では、最終的に必要としない情報の算出のために電力等が浪費されていると言える。
 本発明は、処理負荷が高く電力消費も大きい相対移動量推定の実行を削減することに寄与する、物品位置推定システム及び物品位置推定方法を提供することを主たる目的とする。
 本発明乃至開示の第1の視点によれば、移動体により物品が取り出された時刻又は前記移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成する、物品移動認識部と、基準点を認識し、前記認識された基準点の識別情報と、基準点認識時刻と、前記認識された基準点に関する情報と、を含む基準点認識情報を生成する、基準点認識部と、前記基準点認識情報に基づき、前記基準点認識時刻における前記移動体の位置に関する情報を生成する、位置情報生成部と、前記物品移動時刻における前記移動体の位置を、少なくとも前記基準点認識時刻における前記移動体の位置を用いて推定する、物品位置推定部と、を含む、物品位置推定システムが提供される。
 本発明乃至開示の第2の視点によれば、移動体を含む物品位置推定システムにおいて、前記移動体により物品が取り出された時刻又は前記移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成するステップと、基準点を認識し、前記認識された基準点の識別情報と、基準点認識時刻と、前記認識された基準点に関する情報と、を含む基準点認識情報を生成するステップと、前記基準点認識情報に基づき、前記基準点認識時刻における前記移動体の位置に関する情報を生成するステップと、前記物品移動時刻における前記移動体の位置を、少なくとも前記基準点認識時刻における前記移動体の位置を用いて推定するステップと、を含む、物品位置推定方法が提供される。
 本発明乃至開示の各視点によれば、処理負荷が高く電力消費も大きい相対移動量推定の実行を削減することに寄与する、物品位置推定システム及び物品位置推定方法が、提供される。
一実施形態の概要を説明するための図である。 第1の実施形態に係る物品位置推定システムの概略構成の一例を示す図である。 第1の実施形態に係る移動体の外観の一例を示す図である。 第1の実施形態に係る演算手段の処理構成の一例を示す図である。 第1の実施形態に係る物品位置推定装置の処理構成の一例を示す図である。 第1の実施形態に係る物品位置推定装置の動作を説明するための図である。 第1の実施形態に係る物品位置推定システムの動作を説明するための図である。 第1の実施形態に係る物品位置推定システムの動作を説明するための図である。 第1の実施形態に係る物品位置推定システムの動作を説明するための図である。 第1の実施形態に係る物品位置推定装置のハードウェア構成の一例を示す図である。 移動体の演算手段の別の処理構成の一例を示す図である。
 初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インターフェイスも同様である。
 一実施形態に係る物品位置推定システムは、物品移動認識部101と、基準点認識部102と、位置情報生成部103と、物品位置推定部104と、を含む(図1参照)。物品移動認識部101は、移動体により物品が取り出された時刻又は移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成する手段(物品移動認識手段)である。基準点認識部102は、基準点を認識し、認識された基準点の識別情報と、基準点認識時刻と、認識された基準点に関する情報と、を含む基準点認識情報を生成する手段(基準点認識手段)である。位置情報生成部103は、基準点認識情報に基づき、基準点認識時刻における移動体の位置に関する情報を生成する手段(位置情報生成手段)である。物品位置推定部104は、物品移動時刻における移動体の位置を、少なくとも基準点認識時刻における移動体の位置を用いて推定する手段(物品位置推定手段)である。
 一実施形態に係る物品位置推定システムは、移動体により物品取り出し位置や物品設置位置を推定する際、必要に応じて絶対位置推定による位置推定と、絶対位置推定と相対位置推定の併用と、を切り替える。つまり、システムの性格によっては、大まかな物品の取り出し位置や設置位置を把握できれば良い場合と、当該位置において高い精度で把握したい場合と、がある。上記物品位置推定システムは、位置推定の精度を必要としない場合には、物品の取り出し位置や設置位置の近傍の基準点(最寄りの基準点)から推定された移動体の位置を上記「物品取り出し位置」や「物品設置位置」として算出する。その結果、処理負荷が高く電力消費も大きい相対移動量推定の実行が不要となる。あるいは、位置推定の精度が必要な場合には、物品位置推定システムは、絶対位置推定と相対位置推定を併用する。具体的には、後述するように、物品位置推定システムは、基準点認識に基づく絶対位置推定と、移動体の移動履歴(移動軌跡)に基づく相対移動量推定と、を併用し物品設置位置等を推定する。その際、物品位置推定部104は、物品の設置位置を推定可能となる最小限の移動範囲(例えば、物品設置の直前又は直後に認識された基準点と物品設置位置等の間の移動体の移動軌跡)に限り、物品設置位置の推定に利用する。なお、「物品設置の直前又は直後に認識された基準点」とは、より正確には、「物品設置時刻以前に認識された基準点のなかで最後に認識された基準点又は物品設置時刻以降に認識された基準点のなかで最初に認識された基準点」である。上記推定の結果、最小限の移動履歴情報だけが相対移動量推定の演算対象となり、物品設置位置推定に要する電力消費量が削減される。このように、上記物品位置推定システムは、高負荷処理と電力消費が削減された物品設置位置推定を実現する。
 以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。
[第1の実施形態]
 第1の実施形態について、図面を用いてより詳細に説明する。
 図2は、第1の実施形態に係る物品位置推定システムの概略構成の一例を示す図である。図2を参照すると、物品位置推定システムには、複数の移動体10と、物品位置推定装置20と、が含まれる。
 移動体10と物品位置推定装置20は、有線又は無線により接続されており相互に通信(データの送受信)が可能に構成されている。第1の実施形態では、移動体10により物品の設置が完了した位置を物品位置推定装置20にて推定する。つまり、物品位置推定装置20は、移動体10が物品を移動した後の設置位置を移動体10から得られる情報に基づき推定する。
 物品は、例えば、パレットに積まれたコンテナである。物品は、ダンボールや箱、機械や装置なども考えられる。
 図2に示すように、物品位置推定システムには、複数の基準点が含まれる。基準点は、例えば、マーカーである。マーカーの具体例は、ArUcoマーカー、バーコード、QRコード(登録商標)、カメレオンコードなどが考えられる。
 基準点一つにつき座標情報一つを有する。移動体10は、基準点を認識すると、認識された基準点に紐付く座標情報を取得できるように構成されている。具体的には、基準点(基準点の識別子)と紐付けられた座標情報が予め移動体10の記憶部に格納されている。なお、基準点の識別子とは、例えば、ArUcoマーカーを基準点に用いた場合、当該ArUcoマーカーのビットパターンに割り当てられた数値等である。
 座標情報は、少なくとも絶対座標を有する。絶対座標の座標系は、任意の位置(例えば入り口)を原点とする座標系や経緯度であることが考えられる。基準点がマーカーである場合、座標情報には、基準点の向きと基準点の大きさ(スケール情報)を含むことが考えられる。これは、Perspective-n-point手法により、基準点を認識したカメラの位置と向きを算出可能にすることを想定している。
 あるいは、基準点は、構造物と、画像から抽出される特徴量を対応付ける情報である。これは、マーカーを設ける代わりに、既設の柱や棚、ロッカー、ポスターなどをマーカーの代わりとして流用することを想定している。
 図3は、移動体10の外観の一例を示す図である。移動体10は、例えば、フォークリフトである。移動体10は、搬送用台車や「人」であってもよい。
 移動体10は、物品運搬設置手段11と、物品移動通知手段12と、外部状況取得手段13と、演算手段14と、を含む。
 演算手段14は、物品移動認識部201と、基準点認識部202と、移動履歴情報取得部203と、動作制御部204と、記憶部205と、情報提供部206と、を含む(図4参照)。なお、図3及び図4において、物品位置推定装置20と通信するためのハードウェアや処理モジュールの図示を省略している。
 演算手段14は、例えば、シングルボードコンピュータである。あるいは、演算手段14は、スマートフォンや、ウェアラブルデバイスであってもよい。演算手段14は、内部にCPU(Central Processing Unit)、メモリ、記憶装置等を備え、CPUにプログラムを実行させることにより種々の処理モジュールを実現する。
 図3を参照すると、物品運搬設置手段11は、例えば、フォークリフトのフォークである。フォークリフトはフォークにより物品を持ち上げ、運搬し、設置することが可能である。あるいは、物品運搬設置手段11は、ロボットアームである。
 移動体10が搬送用台車の場合、物品の運搬は人が搬送用台車を押す/引く動作となり、物品の設置は人が物品を置く動作となることが考えられる。移動体10が人の場合、物品の運搬及び設置は、人が物品を持ち運ぶ動作となることが考えられる。この場合、後述の各種処理モジュールはスマートフォンやウェアラブルデバイスにより実装されることが考えられる。
 物品移動通知手段12は、例えば、移動体10の作業者により押下される「ボタン」である。演算手段14と物品移動通知手段12は接続されている。演算手段14に実装された物品移動認識部201は、上記ボタン(物品移動通知手段12)の押下を検出する。なお、物品位置推定システムでは、「物品の取り出し時又は物品設置時にボタンを押す」という運用ルールが定められている。第1の実施形態では、移動体10により物品の設置が完了した位置を物品位置推定装置20にて推定するため、移動体10の作業者は物品を設置(物品の移動完了)した際に、ボタンを押下する。なお、上記運用ルールは例示であって、図2とは異なるシステムの場合には異なる運用ルールが定められる。即ち、上記運用ルールは、図2に示すようなシステムの場合に必要になるルールである。
 物品移動認識部201は、上記ボタンの押下を検出すると、「物品移動情報」を生成する。物品移動情報には、物品移動時刻が含まれる。物品移動時刻は、移動体10により物品が取り出された時刻(物品取り出し時刻)又は移動体10により物品の設置が完了した時刻(物品設置完了時刻)である。第1の実施形態では、物品の設置位置を推定するため、物品移動情報には「物品設置完了時刻」が含まれる。このように、物品移動認識部201は、物品が所定の位置に設置されたことを認識し、物品が配置された時刻である物品設置完了時刻を含む物品移動情報を生成する。
 物品移動通知手段12は、スマートフォンに表示された「ボタン」であってもよい。あるいは、物品移動通知手段12は、慣性センサであってもよい。この場合、物品移動認識部201は、慣性センサの計測値から物品が保管されたことを認識してもよい。なお、上記慣性センサには、ジャイロセンサ、加速度センサ、地磁気センサ、力センサ、重量センサ等が含まれる。
 あるいは、物品移動通知手段12は、カメラであってもよい。この場合、物品移動認識部201は、カメラの撮影画像から物品が保管されたことを検出する。この場合の物品移動認識部201は、物品が設置されたという動作を検出する動体認識プログラム、「設置された物品を撮影する」という運用ルールと画像認識プログラムにより実現できる。
 外部状況取得手段13は、例えば、カメラである。演算手段14と外部状況取得手段13は接続されている。
 演算手段14に実装された基準点認識部202は、カメラが撮影した画像を取得し、特徴量を抽出し、予め用意された各基準点の特徴量と比較し、いずれかの基準点を検出したか否かを判断する。
 基準点認識部202は、上記判断の結果により「基準点認識情報」を生成する。基準点認識情報には、例えば、認識された基準点の識別情報と、基準点を認識した時刻(基準点認識時刻)と、認識された基準点に関する情報と、が含まれる。認識された基準点に関する情報は、例えば、基準点認識時の撮影画像である。このように、基準点認識部202は、基準点を認識し、基準点認識情報を生成する。
 なお、基準点認識情報は、後述する物品位置推定装置20の位置情報生成部302により移動体10の位置の算出に使用されることを想定している。あるいは、基準点認識情報は、認識された基準点の識別情報と、基準点を認識した時刻と、基準点認識時の撮影画像から抽出された特徴量と、を含んでもよい。
 なお、本願開示において、移動体10や物品の「位置」は、これらの座標に関する情報を含む。さらに、移動体10や物品の「位置」には、これらの向きに関する情報が含まれてもよい。つまり、物品位置推定装置20は、移動体10等の「座標」を推定しても良いし、移動体10等の「座標及び向き」を推定してもよい。あるいは、一点を中心とする所定の範囲を「位置」として扱ってもよい。例えば、物品位置推定装置20は、一点を中心とする所定の範囲を移動体10等の位置として推定してもよい。
 基準点認識情報は、基準点を認識した時刻と、その時刻における移動体10の位置に関する情報を含んでもよい。これは、後述する物品位置推定装置20の位置情報生成部302を基準点認識部202が内包することを想定している。
 演算手段14の移動履歴情報取得部203は、自装置(移動体10)の移動に関する移動履歴情報を取得する手段である。例えば、移動履歴情報取得部203は、カメラが撮影した画像を取得して「移動履歴情報」を生成する。移動履歴情報は、例えば、撮像された画像と当該画像取得時刻の対を要素とする集合である。なお、移動履歴情報は、後述する物品位置推定装置20の位置変化情報生成部303により移動体10の位置の変化量の算出に使用されることを想定している。
 移動履歴情報取得部203は、慣性センサの計測値を取得して「移動履歴情報」としてもよい。その場合、移動履歴情報は、慣性センサの計測値と計測時刻の対の集合となる。また、慣性センサの計測値ではなく(あるいは、慣性センサの計測値に加えて)、走行距離計により計測値や移動体10の移動制御情報が移動履歴情報に含まれていてもよい。
 あるいは、移動履歴情報取得部203は、レーザスキャナやLIDAR(Light Detection and Ranging)の計測値を用いて移動履歴情報を生成してもよい。この場合、移動履歴情報は、レーザスキャナやLIDARの計測値と計測時刻の対の集合である。
 あるいは、移動履歴情報は、二つの時刻と、その二つの時刻の間に発生した移動体10の位置の変化量であってもよい。これは、後述の物品位置推定装置20の位置変化情報生成部303を移動履歴情報取得部203が内包することを想定している。
 動作制御部204は、例えば、物品移動情報、基準点認識情報、移動履歴情報のそれぞれを各モジュールから取得し、記憶部205に格納する。また、動作制御部204は、基準点認識部202、移動履歴情報取得部203を制御する手段である。
 動作制御部204は、上記モジュール(基準点認識部202、移動履歴情報取得部203)の動作(起動又は停止)を制御する。動作制御部204の動作(移動体10の動作)例は後述する。
 記憶部205は、例えば、シングルボードコンピュータに内蔵又は外部接続された記録領域である。あるいは、記憶部205は、スマートフォンに内蔵又は外部接続された記録領域である。その他、記憶部205として様々な媒体が考えられるが、目的は情報の記録と記録された情報の読み取りであるため、任意の媒体を用いることができる。
 記憶部205は、物品移動情報と、基準点認識情報と、移動履歴情報と、各基準点の識別情報と座標情報の対と、を記憶する。
 情報提供部206は、物品位置推定装置20による物品位置の推定を可能とするように当該装置が必要とする情報を提供する手段である。情報提供部206は、記憶部205から物品移動情報、基準点認識情報、移動履歴情報、各基準点の識別情報と座標情報の対をそれぞれ読み出す。情報提供部206は、これらの情報を物品位置推定装置20に送信する。
 その際、情報提供部206は、読み出した基準点認識情報と移動履歴情報の全部又は一部を抽出し、当該抽出した情報(基準点認識情報、移動履歴情報)を物品位置推定装置20に送信する。例えば、情報提供部206は、物品設置完了時(物品移動時刻)の直前に認識された基準点に基づき生成された基準点認識情報と、当該基準点の認識から物品設置完了までの間に取得された移動履歴情報と、を物品位置推定装置20に送信する。
 あるいは、情報提供部206は、物品設置完了後に初めて認識された基準点に基づき生成された基準点認識情報と、物品設置完了時から上記物品設置直後に認識された基準点の認識までの間に取得された移動履歴情報と、を物品位置推定装置20に送信する。
 あるいは、情報提供部206は、物品設置完了時を基準として当該設置の直前に基準点が認識され、且つ、当該設置の直後にも基準点が認識されている場合には、データサイズに基づき送信する情報を選択してもよい。具体的には、情報提供部206は、物品設置時を基準とする前後2つの基準点認識による期間に取得された移動履歴情報のうちデータサイズの小さい情報と対応する基準点認識情報を物品位置推定装置20に送信してもよい。このように、情報提供部206は、設置時刻以前に基準点が認識され、当該設置時刻以降にも基準点が認識されている場合には、2つの移動履歴情報のうちデータサイズの小さい情報と対応する基準点認識情報を物品位置推定装置20に送信してもよい。
 このように、情報提供部206は、物品移動情報、全部又は一部の基準点認識情報、全部又は一部の移動履歴情報、各基準点の識別情報と座標情報の対を物品位置推定装置20に送信する。その際、情報提供部206は、記録情報の大きさに基づき必要最小限の範囲となるように基準点認識情報と移動履歴情報のそれぞれを物品位置推定装置20に送信する。なお、情報提供部206は、物品を設置した場合や、物品設置後初めて基準点を検出した場合等に、上記情報送信を行う。あるいは、情報提供部206は、物品位置推定装置20からの要求により上記情報送信を行う。
 図5は、第1の実施形態に係る物品位置推定装置20の処理構成(処理モジュール)の一例を示す図である。図5を参照すると、物品位置推定装置20は、情報取得部301と、位置情報生成部302と、位置変化情報生成部303と、物品位置推定部304と、を含んで構成される。なお、図5において、移動体10と通信するための処理モジュールの図示は省略している。
 情報取得部301は、上記移動体10から送信される情報(基準点認識情報、移動履歴情報等)を取得する手段である。
 位置情報生成部302は、基準点認識情報に基づき、基準点認識時刻における移動体10の位置に関する情報を生成する手段である。位置情報生成部302は、例えば、Perspective-n-point手法により、カメラの画角と撮影画像から抽出された特徴量に基づき、基準点に対するカメラの位置(座標と向き)を算出する。
 位置情報生成部302は、当該算出されたカメラの座標と向き、及び、認識された基準点の絶対座標と向きに基づき、基準点認識時の移動体10の位置(絶対座標系)を算出する。つまり、位置情報生成部302は、基準点認識情報に含まれる画像から、認識された基準点を基準(原点)とするカメラの座標及び向きを算出する。その後、位置情報生成部302は、認識された基準点の座標情報(絶対座標系)を用いて、上記算出されたカメラの座標及び向きを絶対座標系の位置(座標及び向き)に変換する。
 位置変化情報生成部303は、移動履歴情報、基準点認識時刻、物品移動時刻(第1の実施形態では物品設置完了時刻)に基づき、基準点認識時刻と物品設置完了時刻の間の移動体10の位置の変化量に関する情報を生成する手段である。位置変化情報生成部303は、カメラが撮影した複数枚の画像から特徴量を抽出し、画像間での特徴点の推移(オプティカルフロー)を生成する。位置変化情報生成部303は、当該特徴点の推移を生成することで、カメラの座標と向きの変化量を算出し、当該カメラの座標と向きの変化量を移動体10の位置の変化量(座標と向きの変化量)として扱う。
 あるいは、移動体履歴情報に慣性センサの計測値が含まれる場合には、位置変化情報生成部303は、慣性センサの計測値を積分することで移動体10の位置の変化量を算出する。
 あるいは、位置変化情報生成部303は、特徴点を画像から取得する代わりに、レーザスキャナやLIDARの計測値から移動体10の位置の変化量を算出してもよい。なお、位置変化情報生成部303は、基準点認識情報や移動体10の絶対位置と向きを補正情報として利用してもよい。
 物品位置推定部304は、物品移動時刻(第1の実施形態では物品設置完了時刻)における移動体10の位置を、少なくとも基準点認識時刻における移動体10の位置を用いて推定する手段である。
 例えば、物品位置推定システムにおいて、移動体10により設置された物品の位置に関する高い精度が要求されない場合には、物品位置推定部304は、基準点認識時刻における移動体10の位置を「物品設置位置」として扱う。
 一方、物品位置推定システムにおいて、移動体10により設置された物品の位置に関する高い精度が要求される場合には、物品位置推定部304は、以下の方法により移動体10による「物品設置位置」を推定する。
 具体的には、物品位置推定部304は、基準点認識時刻における移動体10の位置(絶対座標系)と、基準点認識時刻と物品設置完了時刻の間の移動体10の位置の変化量に基づき、物品設置時の移動体10の位置を推定する。つまり、物品位置推定部304は、基準点認識時刻における移動体10の位置(絶対座標系)に物品設置完了時までの変化量を反映することで、物品が設置された位置(座標、向き;絶対座標系)を推定する。
 なお、物品位置推定部304は、基準点認識時刻と物品移動時刻(物品設置完了時刻)の前後関係に基づき、移動体10の位置に反映する変化量の使い方を変更する。具体的には、先に基準点が認識され、その後物品が設置された場合(基準点認識時刻<物品設置完了時刻)、物品位置推定部304は、移動体10の位置(絶対座標系)に対して順方向に変化量を反映する(移動体10の移動軌跡をなぞる)。
 一方、先に物品の設置が完了し、その後基準点が認識された場合(基準点認識時刻>物品設置完了時刻)、物品位置推定部304は、基準点による移動体10の位置(絶対座標系)に対して逆方向に変化量を反映する(移動体10の移動軌跡を遡る)。
 上記物品位置推定装置20の動作を図示すると図6のとおりとなる。移動体10は、基準点を認識すると基準点認識情報を生成する。物品位置推定装置20は、当該基準点認識情報により、基準点を認識した際の移動体10の位置を算出する。
 例えば、図6において、物品位置推定装置20は、移動体10の位置として(X、Y)を得る。移動体10は、基準点を認識後に移動する。その際、移動体10は、座標及び向きの変化量を計算するための情報(移動履歴情報)を蓄積(計測)していく。物品位置推定装置20は、移動履歴情報に基づき移動体10の位置の変化量を算出する。例えば、図6において、物品位置推定装置20は、移動体10の座標に関する変化量として(△X、△Y)を得る。なお、図6の例では、2次元座標系における物品位置推定を説明したが、(X、Y、Z)の3次元座標系における物品位置推定も勿論可能である。また、3次元座標系における向きとして、yaw、pitch、rollを用いることができる。
 物品設置が完了すると、物品位置推定装置20は、基準点認識時における移動体10の座標に、基準点認識時と物品設置完了時の間の移動履歴情報から得られる変化量を反映し、物品が設置された位置を推定する。例えば、図6の例では、(X+△X、Y+△Y)が物品設置位置として推定される。
 続いて、第1の実施形態に係る物品位置推定システムの動作について説明する。
 図7を参照しつつ、第1の動作例を説明する。図7を参照すると、移動体10は、物品の運搬開始時に基準点認識部202と移動履歴情報取得部203を動作させる(ステップS01)。
 移動体10は、物品の運搬中に移動履歴情報を生成し、記憶部205に格納する(ステップS02)。
 移動体10は、基準点を認識すると基準点認識情報を生成し、記憶部205に格納する(ステップS03)。
 移動体10は、上記の処理を繰り返す。
 移動体10が物品の設置箇所に移動し物品を設置すると、物品移動情報が生成され、記憶部205に格納される(ステップS04)。当該物品移動情報の生成と共に、移動体10は、基準点認識部202と移動履歴情報取得部203の動作を停止する。
 移動体10は、物品設置時の直前に認識した基準点により生成された基準点認識情報と、基準点認識から物品設置完了時までの移動履歴情報と、物品移動情報と、を物品位置推定装置20に送信する(ステップS05)。
 なお、上記ステップS05にて送信される情報以外の情報は、物品位置推定装置20に送信されない。
 このように、物品位置推定システムは、図7に示される移動体10の動作と、基準点認識部202と移動履歴情報取得部203の動作により、移動体10の一連の動作のなかの一部期間に得られる情報の取得と記録を行う。物品位置推定装置20は、当該一部の期間に得られる情報を用いて物品設置位置を推定すれば良いので、当該位置推定に要する電力消費量が削減される。
 図8を参照しつつ、第2の動作例を説明する。図8を参照すると、移動体10は、物品の設置を完了すると、基準点認識部202と移動履歴情報取得部203を起動すると共に、物品移動情報を生成し、記憶部205に格納する(ステップS11)。
 移動体10は、移動中に移動履歴情報を生成し、記憶部205に格納する(ステップS12)。
 移動体10は、基準点を認識すると、基準点認識部202と移動履歴情報取得部203の動作を停止すると共に、基準点認識情報を生成し、記憶部205に格納する(ステップS13)。
 移動体10は、物品設置時の直後に認識した基準点により生成された基準点認識情報と、物品設置完了時から基準点認識時までの移動履歴情報と、物品移動情報と、を物品位置推定装置20に送信する(ステップS14)。
 このように、移動体10は、物品設置の完了を契機として基準点認識部202及び移動履歴情報取得部203を起動し、その後の基準点認識を契機にこれら処理モジュールの動作を停止してもよい。この場合であっても、物品位置推定装置20は、当該一部の期間に得られる情報を用いて物品設置位置を推定すれば良いので、当該位置推定に要する電力消費量が削減される。
 図9を参照しつつ、第3の動作例を説明する。図9に示すように、移動体10は、基準点認識と移動履歴情報の取得に関する動作を継続して行っても良い。
 この場合、移動体10は、物品設置完了を基準としてその前後に取得された情報(基準点認識情報、移動履歴情報)のデータサイズを比較し、よりデータサイズの小さい情報を物品位置推定装置20に送信する(ステップS21)。
 この場合であっても、物品位置推定装置20は、当該一部の期間に得られる情報を用いて物品設置位置を推定すれば良いので、当該位置推定に要する電力消費量が削減される。
 第1~第3の動作例とは異なる他の動作例(第4の動作例)を説明する。物品設置完了時刻と基準点認識時刻の時間差が所定の閾値を下回る場合、物品位置推定装置20は、移動体10の位置の変化量を取得する処理の実行を省略し、移動体10の位置の変化量をゼロとして扱っても良い。当該閾値は、事前に定義される定数、あるいは動的に変更可能な変数として、物品位置推定装置20の処理モジュールに組み込まれる。第1乃至第4の動作例のうち、物品位置推定システムがいずれの動作を採用するかは予め決定しておく、あるいは、動的に変更可能とする。
 続いて、物品位置推定装置20のハードウェア構成について説明する。
[ハードウェア構成]
 図10は、物品位置推定装置20のハードウェア構成の一例を示す図である。物品位置推定装置20は図10に例示する構成を備える。例えば、物品位置推定装置20は、内部バスにより相互に接続される、CPU(Central Processing Unit)21、メモリ22、入出力インターフェイス23、通信手段である通信回路24等を備える。
 但し、図10に示す構成は、物品位置推定装置20のハードウェア構成を限定する趣旨ではない。物品位置推定装置20は、図示しないハードウェアを含んでもよい。物品位置推定装置20に含まれるCPU等の数も図10の例示に限定する趣旨ではなく、例えば、複数のCPU21が物品位置推定装置20に含まれていてもよい。
 メモリ22は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)等である。
 入出力インターフェイス23は、図示しない入出力装置のインターフェイスである。入出力装置には、例えば、表示装置、操作デバイス等が含まれる。表示装置は、例えば、液晶ディスプレイ等である。操作デバイスは、例えば、キーボードやマウス等である。
 物品位置推定装置20の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ22に格納されたプログラムをCPU21が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェア、或いはハードウェアを利用して実行されるソフトウェアにより実現できればよい。
[効果]
 以上のように、第1の実施形態に係る物品位置推定システムでは、位置推定の精度が要求されない場合には、絶対位置推定により物品設置位置を推定する(例えば、上記第4の動作例)。対して、位置推定の精度が要求される場合には、物品位置推定システムは、基準点認識に基づく絶対位置推定と移動履歴情報(運動量計測、移動量計測による情報)に基づく相対移動量推定を併用する(例えば、上記第1~第3の動作例)。このような位置推定方法の使い分けにより、消費電力の大きい相対位置推定が減少し、物品位置推定に要する電力消費量の削減が図れる。
 また、第1の実施形態に係る物品位置推定システムでは、物品の設置位置を推定可能となる最小限の移動範囲に限り基準点認識動作と運動量計測動作を行う。その結果、最小限の移動履歴情報だけが相対移動量推定の演算対象となり、電力消費量が削減される。即ち、第1の実施形態に係る物品位置推定システムでは、計算リソース消費量の削減と電力消費量の削減が図れる。
 通常の相対移動量推定には、処理を停止すると移動量の連続性が途切れるため常時測位が必要であり、処理負荷が高く電力消費も大きいという短所が存在する。一方、物の設置位置の推定では取得したい位置は物品設置位置であり、移動体の移動軌跡は必ずしも必要でない。本願開示では、このような事情を鑑み、最小限の移動履歴情報だけを相対移動量推定の演算対象に設定し、計算リソース消費量の削減と電力消費量を削減する。
 また、本願開示では、絶対位置推定と相対位置推定を併用することで、システムに設定(用意)する基準点を最小限にすることが可能である。つまり、前述の計算リソース消費量の削減と電力消費量の削減を目的とする場合、基準点を大量に設け、基準点認識による絶対位置推定だけで物品設置位置を取得する方法も考えられる。しかし、屋内の移動エリアを網羅できるように基準点を設けることは、物理的な環境の面や、運用者の作業コストの面で必ずしも実現できるとは限らない。第1の実施形態に係る物品位置推定システムでは、当該問題も解決することができる。
[第2の実施形態]
 続いて、第2の実施形態について図面を参照して詳細に説明する。第2の実施形態では、移動体10により物品が取り出された位置を物品位置推定装置20にて推定する。
 第1の実施形態では、物品位置推定装置20は、移動体10による物品の設置位置を推定している。第2の実施形態では、物品位置推定装置20が、移動体10による物品の取り出し位置の推定を行うことを説明する。
 なお、第2の実施形態に係る移動体10、物品位置推定装置20の処理構成等は第1の実施形態の構成と同一とすることができるので、図3~図5に相当する説明を省略する。
 物品移動認識部201は、例えば、移動体10の作業者が物品を取り出す際に押下される「ボタン(物品取り出し通知手段)」と接続され、当該ボタンの押下を検出する。なお、物品位置推定システムでは、「物品取り出し時にボタンを押す」という運用ルールが定められている。
 物品移動認識部201は、上記ボタンの押下を検出すると、「物品移動情報」を生成する。第2の実施形態では、移動体10による物品の取り出し位置を推定するので、物品移動情報には、少なくとも、移動体10が物品を所定の場所から取り出した時刻(物品取り出し時刻)が含まれる。このように、物品移動認識部201は、物品が所定の位置から取り出されたことを認識し、物品が取り出された時刻である物品取り出し時刻を含む物品移動情報を生成する。
 物品移動情報は、記憶部205に格納される。情報提供部206は、記憶部205から物品移動情報を読み出し、他の情報と共に物品位置推定装置20に送信する。
 物品位置推定装置20は、第1の実施形態にて説明した方法と同様の方法により、移動体10による物品取り出し位置を推定する。
 具体的には、位置変化情報生成部303は、移動履歴情報、基準点認識時刻、物品取り出し時刻に基づき、基準点認識時刻と物品取り出し時刻の間の移動体10の位置の変化量に関する情報を生成する。
 物品位置推定部304は、基準点認識時刻における移動体10の位置と、基準点認識時刻と物品取り出し時刻の間の移動体10の位置の変化量に基づき、物品取り出し時の移動体10の位置を推定する。このように、第2の実施形態に係る物品位置推定装置20は、移動体10による物品取り出し位置を推定できる。つまり、物品位置推定装置20は、移動体10が物品置き場から物品を取り出した際、当該物品がどこに置かれていたかを推定することができる。その際、位置変化情報生成部303は、第1の実施形態と同様に、移動体10による物品の取り出し位置を推定可能となる最小限の移動範囲における移動体10の位置の変化量を計算するので、位置推定に要する消費電力を削減できる。
 なお、第1の実施形態と同様に、物品位置の推定(取り出し位置推定)に精度が要求されない場合には、物品位置推定装置20は、移動体10の位置の変化量を用いずに物品取り出し位置を推定する。
 以上のように、物品位置推定装置20は、移動体10から「物品移動情報」を取得する。物品位置推定装置20は、物品が取り出された時刻と基準点が認識された時刻の間の移動体10の位置の変化量を物品取り出し時刻の前後に認識された基準点の絶対座標に反映することで、移動体10による物品取り出し位置を推定できる。その結果、第2の実施形態では、物品がどこに置かれていたかに関する管理や、特定の場所に物品が置かれているか否か(特定の場所は空か否か)に関する管理を容易に行うことができる。
 以下に物品設置位置の管理を行う方法の例として、入出庫台帳の作成と物品位置マップの生成を説明する。
 物品設置位置の管理を行う場合には、物品設置位置(座標、向き、範囲の全部又は一部)と、物品設置完了時刻と、物品の識別子(例えばバーコードの数字や文字列等)と、を1つのレコードとして記憶するデータベースを用意する。その際、データベースへの情報記憶としては、物品設置位置の代わりに物品取り出し位置を記録したり、あるいはその両方を記録することも可能である。物品設置位置と物品取り出し位置の両方を記録する場合には、例えば、設置と取り出しを区別するフラグを使用すればよい。
 その後、管理装置が、当該データベースに対して位置(座標、向き、範囲の全て又は一部)をキーに検索し、当該位置に設置された物品の時刻と識別子を得る。なお、管理装置による位置の検索において、比較演算子等で座標の範囲を指定することで、検索する位置の広さを選択してもよい。また、管理装置は、検索キーに時刻を併用して検索範囲を絞り込んでもよい。管理装置は、当該検索結果に基づき、検索位置において設置または取り出しがなされた物品の時刻と識別子の一覧を入出庫台帳として作成する。
 あるいは、管理装置は、時刻を入力として受け取り、当該時刻における物品設置位置の一覧を物品位置マップとして作成することもできる。このとき、当該時刻において設置状態である物品と取り出し状態である物品が混在する場合、管理装置は、これらの状態を分けて表示することも可能である。なお、物品の設置状態と取り出し状態の判別に関し、管理装置は、ある物品が上記指定された時刻以前に最後に記録されている状態が設置と取り出しのどちらであるかで区別できる。
[変形例]
 上記実施形態にて説明した物品位置推定システムの構成及び動作は例示であって、種々の変形が可能である。例えば、物品位置推定システムは、以下のような構成又は動作であってもよい。
 上記第1及び第2の実施形態では、それぞれ、物品設置位置の推定、物品取り出し位置の推定を説明したが、これら2つの推定が共に行われてもよい。この場合、移動体10の演算手段14に、図11に示すように、物品設置認識部207と、物品取り出し認識部208を設ければよい。物品設置認識部207は、第1の実施形態にて説明した物品移動認識部201と同様の動作とし、物品取り出し認識部208は、第2の実施形態にて説明した物品移動認識部201と同様の動作とすることができるので、説明を省略する。
 図2では、物品位置推定装置20は移動体10とは別に設置(外部に設置)されているが、移動体10の内部に同等の機能を実装してもよい。この場合、必要に応じて、移動体10から物品設置位置に関する情報を取得する。
 物品位置推定装置20は、移動体10の外部に配置される場合、オンプレミスサーバ上のプログラムや、クラウドサービス上のプログラムとして実装されることが考えられる。
 物品位置推定装置20は、移動体10の内部に配置される場合、シングルボードコンピュータやスマートフォン、ウェアラブルデバイス上のプログラムとして実装されることが考えられる。
 図4では、記憶部205は移動体10の内部に配置されているが、移動体10の内部と外部の両方に配置される例も考えられる。例えば、物品移動情報、基準点認識情報、移動履歴情報は移動体10内部の記録装置に、各基準点の識別情報と座標情報の対は移動体10外部の記録装置に記録する例が考えられる。
 各種手段及び装置は、一つの装置に集約して実装する場合と、複数の装置に分散して実装する場合が考えられる。
 例えば、物品設置の認識、基準点認識、移動履歴計算のそれぞれでカメラを用いる場合、全ての用途(手段)で1つのカメラを利用する方法と、各手段で2つ以上のカメラを使い分ける方法が考えられる。
 カメラを用いる場合、カメラをフォークリフトや搬送用台車に固定設置する実装や、移動体となる人がカメラを身につける実装、あるいはカメラを手に持つ方法などが考えられる。カメラは、一般的なデジタルカメラ、小型Webカメラ、スマートフォン内蔵カメラ、ウェアラブルデバイス内蔵カメラ、などが考えられる。
 記憶部205に情報を記録する方法は、物品移動認識部201、基準点認識部202、移動履歴情報取得部203のそれぞれが行う方法、あるいは、動作制御部204が中継して行う方法が考えられる。
 記憶部205から情報を取得する方法は、情報提供部206を使用せず、物品位置推定装置20が直接取得する方法、動作制御部204が中継して取得する方法等が考えられる。
 物品位置推定装置20による位置推定が実行されるタイミングは、物品移動認識部201が物品の設置を認識した場合、基準点認識部202が基準点を検出した場合、記憶部205に物品移動情報又は基準点認識情報が書き込まれた場合が考えられる。あるいは、物品位置推定装置20が有する周期タイマが満了した場合、移動体10の位置の変化量を取得するプログラムが移動体10の特殊な動作(停止動作など)を検出した場合が、上記タイミングとして考えられる。あるいは、物品位置推定装置20の実行を指示する外部トリガが与えられた場合、などが上記タイミングであってもよい。
 物品移動認識部201、基準点認識部202、移動履歴情報取得部203、動作制御部204の動作は、移動体10の内部で完結する場合と、移動体10外部との通信を伴う場合が考えられる。
 移動体10は全ての基準点情報、移動履歴情報を物品位置推定装置20に送信し、物品位置推定装置20が必要な情報を取捨選択してもよい。
 上記実施形態では、相対移動推定(移動体10の変化量の推定)の際、移動体10の移動軌跡を算出している。しかし、位置変化情報生成部303は、移動体10の取り得る範囲(移動しうる範囲)を算出してもよい。例えば、位置変化情報生成部303は、移動体10の移動速度(例えば、最高速度や平均速度)に移動時間(例えば、基準点認識時刻と物品設置完了時刻の差分)を乗じた結果を移動体10の移動半径として算出する。この場合、物品位置推定部304は、基準点認識時刻における移動体10の位置を円の中心、上記移動半径を円の半径とする範囲(円の内部)を移動体10による物品設置位置として算出する。つまり、物品設置位置として、移動体10の座標や向きだけでなく、移動体10の取り得る範囲を導入し、物品位置推定装置20は、基準点認識時の位置を中心として移動半径を半径とする円内部のいずれに物品が設置されたと判断してよい。なお、移動体10の移動速度は、予め定数として物品位置推定装置20に格納しておいてもよいし、移動体10が当該速度を計算して物品位置推定装置20に通知してもよい。繰り返しとなるが、物品設置位置(物品取り出し位置も同様)は点でなく円で示される範囲として推定されてもよい。
 即ち、相対移動推定にて移動体10の移動軌跡を計算せずに、物品位置推定装置20は、移動体10の取り得る範囲を計算してもよい。上記説明したように、相対移動量推定に要する消費電力は大きい。しかし、物品位置推定装置20が、移動半径だけを計算するのであれば、当該計算は高速、且つ、低消費電力で実行できる。また、物品設置位置や物品取り出し位置の推定に、上記移動半径を用いると、物品の位置は基準点認識時の値に固定され、移動体10の取り得る範囲(移動半径)が時間に応じて変化することになる。このような物品位置推定を採用することにより、物品設置位置や物品取り出し位置の推定精度が低くなったとしても、相対移動量推定に要する時間や電力が大幅に削減できるため、システムのユースケースによっては大きな利点となる。
 上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、物品管理作業の効率化、物品の保管場所管理の効率化、物品の在庫棚卸しの効率化、商品管理システム、商品配置場所の管理の効率化、地図作成システム等に好適に適用可能である。あるいは、本発明は、フロアに設置した設備や機材をフロア地図に反映させる等の用途に好適に適用可能である。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
 上述の第1の視点に係る物品位置推定システムのとおりである。
[付記2]
 前記移動体の移動に関する移動履歴情報を取得する、移動履歴情報取得部と、
 前記移動履歴情報、前記基準点認識時刻、前記物品移動時刻に基づき、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に関する情報を生成する、位置変化情報生成部と、
 をさらに含み、
 前記物品位置推定部は、
 前記基準点認識時刻における前記移動体の位置と、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に基づき、前記物品移動時刻における前記移動体の位置を推定する、好ましくは付記1に記載の物品位置推定システム。
[付記3]
 前記位置変化情報生成部は、前記物品移動時刻における前記移動体の位置を推定可能となる最小限の移動範囲における前記移動体の位置の変化量を計算する、好ましくは付記2に記載の物品位置推定システム。
[付記4]
 前記位置変化情報生成部は、前記物品移動時刻の直前の基準点認識時刻と前記物品移動時刻との間に取得された前記移動履歴情報を前記移動体の位置の変化量に関する情報の生成に用いる、好ましくは付記3に記載の物品位置推定システム。
[付記5]
 前記位置変化情報生成部は、前記物品移動時刻の直後の基準点認識時刻と前記物品移動時刻との間に取得された前記移動履歴情報を前記移動体の位置の変化量に関する情報の生成に用いる、好ましくは付記3に記載の物品位置推定システム。
[付記6]
 前記位置変化情報生成部は、
 前記物品移動時刻の直前の基準点認識時刻と前記物品移動時刻との間に取得された第1の移動履歴情報と、前記物品移動時刻の直後の基準点認識時刻と前記物品移動時刻との間に取得された第2の移動履歴情報と、を比較し、データサイズの小さい移動履歴情報を、前記移動体の位置の変化量に関する情報の生成に用いる、好ましくは付記3に記載の物品位置推定システム。
[付記7]
 前記物品位置推定部は、前記基準点認識時刻と前記物品移動時刻の前後関係に基づき、前記移動体の位置に反映する前記移動体の位置の変化量の使い方を変更する、好ましくは付記2乃至6のいずれか一に記載の物品位置推定システム。
[付記8]
 前記物品位置推定部は、前記基準点認識時刻が前記物品移動時刻よりも早い場合には、前記基準点認識時刻における移動体の位置に対して順方向に前記変化量を反映し、
 前記基準点認識時刻が前記物品移動時刻よりも遅い場合には、前記基準点認識時刻における移動体の位置に対して逆方向に前記変化量を反映する、好ましくは付記7に記載の物品位置推定システム。
[付記9]
 前記位置変化情報生成部は、前記移動体が基準点から移動しうる距離を移動半径として算出し、
 前記物品位置推定部は、前記基準点認識時刻における前記移動体の位置を円の中心、前記移動半径を円の半径とする範囲を前記物品移動時刻における前記移動体の位置として推定する、好ましくは付記2乃至8のいずれか一に記載の物品位置推定システム。
[付記10]
 前記基準点認識情報には、カメラによる基準点認識時の撮影画像から抽出された特徴量が含まれる、好ましくは付記1乃至9のいずれか一に記載の物品位置推定システム。
[付記11]
 前記移動履歴情報は、カメラによる撮影画像と前記撮影画像の取得時刻の対を要素とする集合である、好ましくは付記2乃至10のいずれか一に記載の物品位置推定システム。
[付記12]
 移動体により物品が取り出された時刻又は前記移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成する処理と、
 基準点を認識し、前記認識された基準点の識別情報と、基準点認識時刻と、前記認識された基準点に関する情報と、を含む基準点認識情報を生成する処理と、
 前記基準点認識情報に基づき、前記基準点認識時刻における前記移動体の位置に関する情報を生成する処理と、
 前記物品移動時刻における前記移動体の位置を、少なくとも前記基準点認識時刻における前記移動体の位置を用いて推定する処理と、
 をコンピュータに実行させるプログラム。
 なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
[付記13]
 上述の第2の視点に係る物品位置推定方法のとおりである。
 なお、付記12及び付記13の形態は、付記1の形態と同様に、付記2の形態~付記11の形態に展開することが可能である。
 なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択(部分的削除を含む)が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる(属する)ものと、みなされる。
10 移動体
11 物品運搬設置手段
12 物品移動通知手段
13 外部状況取得手段
14 演算手段
20 物品位置推定装置
21 CPU(Central Processing Unit)
22 メモリ
23 入出力インターフェイス
24 通信回路
101、201 物品移動認識部
102、202 基準点認識部
103、302 位置情報生成部
104、304 物品位置推定部
203 移動履歴情報取得部
204 動作制御部
205 記憶部
206 情報提供部
207 物品設置認識部
208 物品取り出し認識部
301 情報取得部
303 位置変化情報生成部

Claims (10)

  1.  移動体により物品が取り出された時刻又は前記移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成する、物品移動認識部と、
     基準点を認識し、前記認識された基準点の識別情報と、基準点認識時刻と、前記認識された基準点に関する情報と、を含む基準点認識情報を生成する、基準点認識部と、
     前記基準点認識情報に基づき、前記基準点認識時刻における前記移動体の位置に関する情報を生成する、位置情報生成部と、
     前記物品移動時刻における前記移動体の位置を、少なくとも前記基準点認識時刻における前記移動体の位置を用いて推定する、物品位置推定部と、
     を含む、物品位置推定システム。
  2.  前記移動体の移動に関する移動履歴情報を取得する、移動履歴情報取得部と、
     前記移動履歴情報、前記基準点認識時刻、前記物品移動時刻に基づき、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に関する情報を生成する、位置変化情報生成部と、
     をさらに含み、
     前記物品位置推定部は、
     前記基準点認識時刻における前記移動体の位置と、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に基づき、前記物品移動時刻における前記移動体の位置を推定する、請求項1に記載の物品位置推定システム。
  3.  前記位置変化情報生成部は、前記物品移動時刻における前記移動体の位置を推定可能となる最小限の移動範囲における前記移動体の位置の変化量を計算する、請求項2に記載の物品位置推定システム。
  4.  前記位置変化情報生成部は、前記物品移動時刻の直前の基準点認識時刻と前記物品移動時刻との間に取得された前記移動履歴情報を前記移動体の位置の変化量に関する情報の生成に用いる、請求項3に記載の物品位置推定システム。
  5.  前記位置変化情報生成部は、前記物品移動時刻の直後の基準点認識時刻と前記物品移動時刻との間に取得された前記移動履歴情報を前記移動体の位置の変化量に関する情報の生成に用いる、請求項3に記載の物品位置推定システム。
  6.  前記位置変化情報生成部は、
     前記物品移動時刻の直前の基準点認識時刻と前記物品移動時刻との間に取得された第1の移動履歴情報と、前記物品移動時刻の直後の基準点認識時刻と前記物品移動時刻との間に取得された第2の移動履歴情報と、を比較し、データサイズの小さい移動履歴情報を、前記移動体の位置の変化量に関する情報の生成に用いる、請求項3に記載の物品位置推定システム。
  7.  前記物品位置推定部は、前記基準点認識時刻と前記物品移動時刻の前後関係に基づき、前記移動体の位置に反映する前記移動体の位置の変化量の使い方を変更する、請求項2乃至6のいずれか一項に記載の物品位置推定システム。
  8.  前記物品位置推定部は、前記基準点認識時刻が前記物品移動時刻よりも早い場合には、前記基準点認識時刻における移動体の位置に対して順方向に前記変化量を反映し、
     前記基準点認識時刻が前記物品移動時刻よりも遅い場合には、前記基準点認識時刻における移動体の位置に対して逆方向に前記変化量を反映する、請求項7に記載の物品位置推定システム。
  9.  前記位置変化情報生成部は、前記移動体が基準点から移動しうる距離を移動半径として算出し、
     前記物品位置推定部は、前記基準点認識時刻における前記移動体の位置を円の中心、前記移動半径を円の半径とする範囲を前記物品移動時刻における前記移動体の位置として推定する、請求項2乃至8のいずれか一項に記載の物品位置推定システム。
  10.  移動体を含む物品位置推定システムにおいて、
     前記移動体により物品が取り出された時刻又は前記移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成するステップと、
     基準点を認識し、前記認識された基準点の識別情報と、基準点認識時刻と、前記認識された基準点に関する情報と、を含む基準点認識情報を生成するステップと、
     前記基準点認識情報に基づき、前記基準点認識時刻における前記移動体の位置に関する情報を生成するステップと、
     前記物品移動時刻における前記移動体の位置を、少なくとも前記基準点認識時刻における前記移動体の位置を用いて推定するステップと、
     を含む、物品位置推定方法。
PCT/JP2019/031303 2018-08-09 2019-08-08 物品位置推定システム及び物品位置推定方法 WO2020032157A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/265,669 US20210312660A1 (en) 2018-08-09 2019-08-08 Article position estimation system and article position estimation method
JP2020535866A JP7136489B2 (ja) 2018-08-09 2019-08-08 物品位置推定システム及び物品位置推定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018150149 2018-08-09
JP2018-150149 2018-08-09

Publications (1)

Publication Number Publication Date
WO2020032157A1 true WO2020032157A1 (ja) 2020-02-13

Family

ID=69415525

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031303 WO2020032157A1 (ja) 2018-08-09 2019-08-08 物品位置推定システム及び物品位置推定方法

Country Status (3)

Country Link
US (1) US20210312660A1 (ja)
JP (1) JP7136489B2 (ja)
WO (1) WO2020032157A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611763B (zh) * 2023-04-25 2023-12-15 亳州神农谷中药控股有限公司 一种仓库货物定位查找系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012532816A (ja) * 2009-07-09 2012-12-20 コンテナートラック インコーポレイテッド 輸送用コンテナの荷役装置の在庫管理のためのシステム
WO2015059740A1 (ja) * 2013-10-21 2015-04-30 株式会社日立製作所 位置ずれ補正装置および位置ずれ補正システム
JP2015522493A (ja) * 2012-05-14 2015-08-06 アマゾン・テクノロジーズ・インコーポレーテッド 移動式駆動ユニットを操縦するためのシステムおよび方法
JP2016212050A (ja) * 2015-05-13 2016-12-15 株式会社リコー 位置管理システム、位置管理装置、位置管理方法、及びプログラム
US9607285B1 (en) * 2015-03-17 2017-03-28 Amazon Technologies, Inc. Entity monitoring for kiva robotic floors
JP2017117188A (ja) * 2015-12-24 2017-06-29 Kyb株式会社 車両誘導装置及び車両誘導装置を備えた車両誘導システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381982B2 (en) * 2005-12-03 2013-02-26 Sky-Trax, Inc. Method and apparatus for managing and controlling manned and automated utility vehicles
US7852217B2 (en) * 2005-12-28 2010-12-14 Panasonic Corporation Object detecting device, object detecting method and object detecting computer program
US7916023B2 (en) * 2006-01-31 2011-03-29 Zebra Enterprise Solutions Corp. System and method for tracking assets within a monitored environment
US7646336B2 (en) * 2006-03-24 2010-01-12 Containertrac, Inc. Automated asset positioning for location and inventory tracking using multiple positioning techniques
US8630443B2 (en) * 2009-09-01 2014-01-14 Han-Shue Tan Automatic error detection for inventory tracking and management systems used at a shipping container yard
US11348066B2 (en) * 2013-07-25 2022-05-31 IAM Robotics, LLC System and method for piece picking or put-away with a mobile manipulation robot
US10475185B1 (en) * 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
US11328513B1 (en) * 2017-11-07 2022-05-10 Amazon Technologies, Inc. Agent re-verification and resolution using imaging
WO2019100011A1 (en) * 2017-11-17 2019-05-23 Divine Logic, Inc. Systems and methods for tracking items
US11120267B1 (en) * 2018-05-03 2021-09-14 Datalogic Usa, Inc. Camera solution for identification of items in a confined area
CN113226952B (zh) * 2018-12-27 2023-04-18 日本电气通信系统株式会社 物品位置管理装置、物品位置管理系统、物品位置管理方法和程序

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012532816A (ja) * 2009-07-09 2012-12-20 コンテナートラック インコーポレイテッド 輸送用コンテナの荷役装置の在庫管理のためのシステム
JP2015522493A (ja) * 2012-05-14 2015-08-06 アマゾン・テクノロジーズ・インコーポレーテッド 移動式駆動ユニットを操縦するためのシステムおよび方法
WO2015059740A1 (ja) * 2013-10-21 2015-04-30 株式会社日立製作所 位置ずれ補正装置および位置ずれ補正システム
US9607285B1 (en) * 2015-03-17 2017-03-28 Amazon Technologies, Inc. Entity monitoring for kiva robotic floors
JP2016212050A (ja) * 2015-05-13 2016-12-15 株式会社リコー 位置管理システム、位置管理装置、位置管理方法、及びプログラム
JP2017117188A (ja) * 2015-12-24 2017-06-29 Kyb株式会社 車両誘導装置及び車両誘導装置を備えた車両誘導システム

Also Published As

Publication number Publication date
US20210312660A1 (en) 2021-10-07
JPWO2020032157A1 (ja) 2021-08-26
JP7136489B2 (ja) 2022-09-13

Similar Documents

Publication Publication Date Title
US11156471B2 (en) Hands-free augmented reality system for picking and/or sorting assets
KR101623359B1 (ko) 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치
US20190213529A1 (en) Network computer system to evaluate freight loads
US8561897B2 (en) Load tracking utilizing load identifying indicia and spatial discrimination
US20180094935A1 (en) Systems and Methods for Autonomous Drone Navigation
CN104183131B (zh) 使用无线通信检测车道的装置和方法
EP3434626B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
EP2668623A2 (en) Inferential load tracking
EP3434621B1 (en) Instruction projecting device, parcel sorting system and instruction projecting method
EP3434623B1 (en) Projection indicator, cargo assortment system, and projection indicating method
WO2020032157A1 (ja) 物品位置推定システム及び物品位置推定方法
KR101955628B1 (ko) 자재 위치 관리 시스템 및 자재 위치 관리 방법
JP7421925B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016066277A (ja) 物体管理システム、物体管理装置、物体管理方法及び物体管理プログラム
US20200317117A1 (en) Vehicle monitoring device, vehicle, and vehicle monitoring system
JP2009110108A (ja) 移動体の管理方法及び管理システム
JPWO2018047418A1 (ja) 入出庫作業支援システム、入出庫作業支援方法、及びプログラム
EP3434625B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
JP7454608B2 (ja) マテリアルハンドリング環境内の資産の場所を推定する方法及びシステム
US20240127471A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium
TWI715358B (zh) 移動載具及其狀態估測與感測融合切換方法
JP2022130032A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2021009553A (ja) 分析システム、分析方法、プログラム、及び記憶媒体
WO2022180453A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium
KR20150107536A (ko) 중량물 위치 인식 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846777

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020535866

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19846777

Country of ref document: EP

Kind code of ref document: A1