WO2023047476A1 - 移動体およびその制御方法 - Google Patents

移動体およびその制御方法 Download PDF

Info

Publication number
WO2023047476A1
WO2023047476A1 PCT/JP2021/034666 JP2021034666W WO2023047476A1 WO 2023047476 A1 WO2023047476 A1 WO 2023047476A1 JP 2021034666 W JP2021034666 W JP 2021034666W WO 2023047476 A1 WO2023047476 A1 WO 2023047476A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition target
imaging
recognition
recognized
moving body
Prior art date
Application number
PCT/JP2021/034666
Other languages
English (en)
French (fr)
Inventor
浩二 河口
秀一郎 鬼頭
琢也 小田
Original Assignee
株式会社Fuji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Fuji filed Critical 株式会社Fuji
Priority to PCT/JP2021/034666 priority Critical patent/WO2023047476A1/ja
Priority to JP2023549208A priority patent/JPWO2023047476A1/ja
Priority to CN202180101406.7A priority patent/CN117897950A/zh
Priority to EP21958353.1A priority patent/EP4407399A1/en
Publication of WO2023047476A1 publication Critical patent/WO2023047476A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Definitions

  • the present disclosure relates to a moving object that recognizes a recognition target based on imaging data of an imaging device and a control method thereof.
  • a robot device mounted on an automatic guided vehicle there is known one that includes a camera that is provided in a hand portion and that photographs a work set on a workbench (see, for example, Patent Document 1).
  • this robot device learns the optimum aperture value corresponding to the illumination by sequentially changing the aperture value of the aperture adjustment device provided in the camera while photographing the master work. do.
  • the robot apparatus changes the parameter values while the optimum aperture value is set as the aperture value, thereby obtaining the optimum parameter value corresponding to the illuminance when the feature quantity of the masterwork is closest to the target value. Store in memory.
  • the robot device adjusts the aperture adjustment device to the optimum aperture value corresponding to the current illuminance, sets the optimum parameter value corresponding to the current illuminance as a parameter for feature amount extraction, and uses the camera
  • the workpiece is recognized based on the image signal from the As a result, even if the brightness of the work position where the work is set changes, the work can be recognized.
  • moving objects such as AMR (Autonomous Mobile Robot) and AGV (Automatic Guides Vehicle) can recognize recognition targets such as markers and transport targets based on imaging data (image data) of imaging devices, thereby enabling transportation of goods, etc.
  • Efficiency can be improved.
  • the surrounding environment of a moving object changes depending on the time of day and the position of the moving object. put away.
  • it is practically impossible to fully learn the imaging conditions of the imaging apparatus in advance because the locations and movement ranges of the mobile bodies are diverse.
  • the main purpose of the present disclosure is to ensure smooth operation of the moving body by allowing the moving body to recognize the recognition target based on the imaging data of the imaging device even if the surrounding environment or the like changes.
  • a mobile object includes an imaging device that captures an image of a recognition target, and a recognition unit that recognizes the recognition target based on image data captured by the imaging device, and based on the recognition target recognized by the recognition unit: stepwise changing the imaging condition of the imaging device so that the recognition target is recognized by the recognition unit when the recognition target is not recognized by the recognition unit in a moving body that performs a predetermined action; storing the imaging conditions when the recognition target is recognized by the recognition unit in a storage device, and storing the imaging conditions when the imaging device captures the recognition target or another recognition target under the same or similar situation; It includes an imaging control unit that applies the imaging conditions stored in the device.
  • the imaging conditions of the imaging device are changed stepwise so that the recognition target is recognized by the recognition unit, and the recognition target is recognized by the recognition unit.
  • the imaging conditions at that time are stored in the storage device.
  • the imaging conditions stored in the storage device are applied. As a result, even if the surrounding environment changes, for example, the moving object can be made to recognize the recognition target based on the imaging data of the imaging device. It is possible to ensure smooth operation of the moving body.
  • a method for controlling a moving object includes an imaging device that captures an image of a recognition target, and a recognition unit that recognizes the recognition target based on image data captured by the imaging device, wherein the recognition unit
  • the imaging conditions of the imaging device are changed stepwise so that the recognition unit recognizes the recognition target, and when the recognition unit recognizes the recognition target, the imaging is performed.
  • Conditions are stored in a storage device, and the imaging conditions stored in the storage device are applied when imaging the recognition target or another recognition target with the imaging device under the same or similar circumstances.
  • the moving object can be made to recognize the recognition target based on the imaging data of the imaging device.
  • FIG. 1 is a schematic configuration diagram showing a distribution center to which mobile bodies of the present disclosure are applied;
  • FIG. 2 is a block diagram showing a physical distribution management system of the distribution center of FIG. 1;
  • FIG. FIG. 2 is a perspective view showing a truck used in the distribution center of FIG. 1;
  • 1 is a perspective view showing a moving body of the present disclosure;
  • FIG. 3 is a control block diagram of the mobile body of the present disclosure;
  • FIG. 4 is a flowchart for explaining a recognition target recognition procedure in a mobile body of the present disclosure;
  • FIG. 4 is a schematic diagram showing a modified mode of the moving body of the present disclosure;
  • FIG. 1 is a schematic configuration diagram showing a distribution center 1 to which an autonomous mobile robot (AMR) 50, which is a mobile body of the present disclosure, is applied, and FIG. 1 is a block diagram of system 10.
  • AMR autonomous mobile robot
  • FIG. 1 is a facility for storing, transporting, handling, packaging, and distributing goods (products).
  • the distribution center 1 includes an entrance 2 for delivery vehicles T such as trucks, and a plurality of shipping gates 3a, 3b, 3c, 3d, 3e, 3f, 3g, 3h, A shipping area 3 having 3i, 3j, 3k, and 3l (hereinafter, the shipping gates are collectively referred to as "shipping gates 3x"), and a large number of packaged packages P are transported from a warehouse (not shown) to the shipping area 3. It includes a conveying conveyor 4 and a plurality of carriages 5 . In the distribution center 1 , the packages P are conveyed to the shipping area 3 by the conveyor 4 and transferred to the trolley 5 .
  • the trolley 5 as a material handling device carrying the load P is transported by the transport robot 50 to the corresponding shipping gate 3x. Then, the trolley 5 carrying the cargo P is loaded onto the corresponding delivery vehicle T at the shipping gate 3x, and transported by the delivery vehicle T to the shipping destination.
  • the entrance management device 25 is a computer including a CPU, a ROM, a RAM, a storage device, a communication module, etc., and acquires the ID of the delivery vehicle T that has arrived at the entrance 2 based on the imaging data (image data) of the entrance camera 20. . That is, the entrance camera 20 and the entrance management device 25 function as an ID acquisition device for the entrance 2 .
  • the ID of the delivery vehicle T is, for example, a number assigned in advance to the delivery vehicle T by the distribution center 1, and the ID is indicated on the delivery vehicle T so that it can be recognized from the entrance camera 20. No markers are affixed.
  • the ID of the delivery vehicle T may be the vehicle registration number of the delivery vehicle T, or may be the number of an in-vehicle device such as an ETC acquired via a communication device (not shown).
  • the entrance control device 25 causes the monitor 21 to display information to be provided to the driver.
  • each shipping gate 3a-3l is provided with a camera 30 for imaging the delivery vehicle T that has arrived at the shipping gate 3a-3l, and a truck detector 31 capable of imaging the truck 5 that passes when the delivery vehicle T is loaded.
  • the shipping gate management device 35 is a computer including a CPU, a ROM, a RAM, a storage device, a communication module, etc., and based on the image data (image data) of the camera 30, the delivery arrived at the shipping gates 3a, 3b, . . . or 3l. Get the ID of the car T. That is, the camera 30 and the shipping gate management device 35 function as a delivery vehicle ID acquisition device for each of the shipping gates 3a-3l.
  • the shipping gate management device 35 acquires the ID of the truck 5 loaded onto the delivery vehicle T based on the imaging data (image data) of the truck detector 31 . That is, the truck detector 31 and the shipping gate management device 35 function as a truck ID acquisition device for each of the shipping gates 3a-3l.
  • Conveyor 4 comprises a main transport line 40 and a plurality of shipping lines 4a, 4b, 4c, 4d, 4e, 4f, 4f, 4f, 4b, 4b, 4f, 4f, 4b, 4c, 4f, 4f, 4b, 4c, 4f, 4f, 4b, 4c, 4d, 4d, 4c, 4d, 4d, 4c, 4d, 4d, 4d, 4c, 4d, 4d, 4d, 4d, 4c, 4d, 4d, 4d, 4d, 4d, 4d, 4c, 4d, 4d, 4d, 4c, 4d, 4d, 4d, 4c, 4d, 4d, 4d, 4c, 4d, 4d, 4d, 4c, 4d, 4d, 4c, 4d, 4d, 4c, 4d, 4d, 4c, 4d, 4d, 4c, 4d, 4d, 4c, 4d, 4d, 4c,
  • the conveyor 4 is controlled by a conveyor control device 14 (see FIG. 2), which is a computer including a CPU, ROM, RAM, storage device, communication module, and the like.
  • a package P handled in the distribution center 1 is affixed with a bar code sticker indicating its ID. That is, the conveyor control device 14 acquires the ID of the package P on the main transfer line 40 via a barcode reader (not shown), and based on the acquired ID, the package P conveyed to the shipping area 3 by the main transfer line 40. to the corresponding shipping line 4x.
  • the trolley 5 is a so-called basket trolley as shown in FIG. 3, and includes markers 5m as recognition targets such as AR markers, QR codes, and barcodes that indicate the ID of the trolley 5.
  • the marker 5m is provided at least one location (two locations in the example of FIG. 3) on the carriage 5 so that it can be recognized by the transport robot 50 and the carriage detector 31.
  • FIG. Further, in the distribution center 1, as shown in FIG. Unused trucks 5 are arranged in line at the storage location 6, and the trucks 5 to be used are identified by the transport robot 50 and transported from the storage location 6 to a designated location. Furthermore, a plurality of markers 3m as recognition targets such as AR markers and QR codes for allowing each transport robot 50 to autonomously travel are attached to the floor and pillars of the shipping area 3 inside the building of the distribution center 1.
  • the physical distribution management system 10 includes a management server 11 as a management device and a storage device 12.
  • the management server 11 is a computer having a CPU, ROM, RAM, communication modules, and the like.
  • the management server 11 acquires various kinds of information from the entrance management device 25 and the shipping gate management devices 35 of the respective shipping gates 3a to 3l, and also receives information and command signals requested from the entrance management device 25 and the respective shipping gate management devices 35. to send. Furthermore, the management server 11 transmits information necessary for sorting the packages P, such as the ID of the packages P, to the conveyor control device 14 and exchanges information with the AMR management device 15 .
  • the AMR management device 15 is a computer including a CPU, a ROM, a RAM, a storage device, a communication module, etc., and manages the plurality of transfer robots 50 by exchanging information with the plurality of transfer robots 50 via wireless communication. is.
  • the storage device 12 of the physical distribution management system 10 stores a delivery database in which information related to the delivery of the package P is stored for each of a plurality of delivery vehicles T to which IDs have been assigned from the distribution center 1.
  • the delivery database contains the ID of the delivery vehicle T, the ID of the package P loaded on the delivery vehicle T, the destination of the package P, and the shipping gate 3x (hereinafter referred to as It is appropriately referred to as "loading gate 3z".) ID is linked (associated) and stored.
  • the storage device 12 includes the movable area and prohibited area for the transport robot 50 in the shipping area 3 (distribution center 1), identification sign information for each area, position information for the marker 3m, time zone during which movement is prohibited, and the like. Store area information.
  • FIG. 4 is a perspective view showing the transport robot 50
  • FIG. 5 is a control block diagram of the transport robot 50.
  • the transport robot 50 includes a plurality (four) of mecanum wheels 51, a plurality of (four) electric motors 52 that rotationally drive the corresponding mecanum wheels 51, and a carriage. It includes an elevating unit 53 for elevating the carriage 5 and is configured to be movable back and forth below the carriage 5 .
  • Each mecanum wheel 51 has a pair of support plates 51p and a plurality of wheels rotatable around an axis tilted at 45° with respect to the axle while being supported by the pair of support plates 51p so as to be arranged in a ring. and a roller 51r.
  • the elevating unit 53 includes a support member that supports the carriage 5 and lifts the support member with respect to the main body of the transport robot 50 so that each wheel of the carriage 5 is separated from the traveling road surface and grounded on the traveling road surface. and a drive that causes the
  • the transport robot 50 includes a camera 54 as an imaging device, a control device 55, a communication module 56 used for communication (wireless communication) with the AMR management device 15 and other transport robots 50, and a storage device 57.
  • the camera 54 captures an image of the surroundings of the transport robot 50 and transmits image data (image data) to the control device 55 .
  • the control device 55 is a computer including a CPU, ROM, RAM and the like.
  • an arithmetic processing unit 55G, a travel control unit 55D and an elevation control unit 55L are constructed by cooperation of hardware such as a CPU, ROM, and RAM and various pre-installed programs. be done.
  • the arithmetic processing unit 55G of the control device 55 utilizes VSLAM technology (self-localization technology), and while the transport robot 50 is running, at predetermined time intervals (minute time intervals), based on the imaging data of the camera 54, the relevant The self-position (three-dimensional coordinates) of the transport robot 50 in the shipping area 3 (distribution center 1 ) and the environment map are acquired and stored in the storage device 57 . Further, the arithmetic processing unit 55G recognizes (identifies) the marker 3m of the shipping area 3 and the marker 5m of the truck 5 (ID of the truck 5) from the imaging data of the camera 54, and also recognizes (identifies) the object itself such as the truck 5. identification).
  • VSLAM technology self-localization technology
  • the arithmetic processing unit 55G recognizes the marker 3m arranged in the shipping area 3 while the transport robot 50 is running, and corrects the estimated self-position and the environment map based on the previously known position of the marker 3m. do. Further, the arithmetic processing unit 55G can adjust the sensitivity of the camera 54 (gain of the imaging device) and the exposure time (shutter speed). Further, the arithmetic processing unit 55G determines the imaging conditions of the camera 54 when the recognition targets such as the markers 3m and 5m can be normally recognized from the imaging data of the camera 54, that is, the sensitivity and the exposure time of the situation information, that is, the marker 3m and the like. The location (ID), the time zone and the season in which the marker 3m or the like was imaged are associated with each other and stored in the storage device 57 .
  • the traveling control unit 55D of the control device 55 controls the plurality of electric motors 52 based on the self-position (current position) and the environment map obtained by the arithmetic processing unit 55G. Further, the elevation control section 55L controls the elevation unit 53 so as to raise or lower the carriage 5 when the transport robot 50 is positioned below the carriage 5 in question.
  • the arithmetic processing unit 55G of the control device 55 may be configured to acquire the self-position and the environment map by SLAM technology using 2D or 3D LiDAR (laser sensor) or the like, and based only on the position of the marker It may be configured to estimate its own position, or it may be configured to acquire its own position and an environment map by indoor positioning technology using beacons or the like.
  • the transport robot 50 may include wheels other than mecanum wheels, such as wheels including general rubber tires.
  • the shipping area 3 of the distribution center 1 where the transport robot 50 is used has a large area, and the amount of sunlight that enters differs depending on the location. Therefore, the surrounding environment of the transport robot 50 changes according to the time zone, the position of the transport robot 50 in the shipping area 3, and the like, and due to the change in the surrounding environment, the transport robot 50 recognizes the markers 3m, 5m, etc. as recognition objects. This may hinder the work of estimating the self-position and transporting the trolley 5 using the estimation result of the self-position.
  • the transfer robot 50 has a wide range of movement, and it is practically impossible to sufficiently learn the imaging conditions of the camera 54 as an imaging device in advance. Based on these, the transport robot 50 recognizes the markers 3m, 5m, etc.
  • the management server 11 determines the shipping gate 3x to be the loading gate 3z, and transmits necessary information such as the ID of the shipping gate 3x to the AMR management device 15. do.
  • the AMR management device 15 transmits necessary information including the ID of the shipping gate 3x serving as the loading gate 3z to the corresponding transport robot 50, and reflects the shipping gate 3x serving as the target point on the travel route of the transport robot 50. .
  • the transport robot 50 After receiving the information from the AMR management device 15, the transport robot 50 recognizes (identifies) the carriage 5 having the corresponding ID from the imaging data of the camera 54, and travels based on its own position estimated by the arithmetic processing unit 55G. to transport the cart 5 to the shipping gate 3x.
  • the arithmetic processing unit 55G of the control device 55 of the transport robot 50 estimates the self-position of the transport robot 50 based on the imaging data of the camera 54.
  • the imaging conditions (sensitivity and exposure time) of the camera 54 stored in the storage device 57 are read out (step S100).
  • the arithmetic processing unit 55G selects, among the read imaging conditions, the imaging conditions (hereinafter referred to as "preferred imaging conditions ) is included (step S110).
  • the arithmetic processing unit 55G determines that the preferred imaging conditions are not included in the imaging conditions stored in the storage device 57 (step S110: YES), the other transport robot 50 and the AMR management device 15 (other (step S120), and determines whether or not the suitable imaging conditions have been received from other transport robots 50 or the like (step S130). Further, when the arithmetic processing unit 55G determines that it has not received suitable imaging conditions from other transport robots 50 or the like (step S130: YES), it sets predetermined initial conditions as the imaging conditions of the camera 54 ( step S140). In this embodiment, the initial conditions set in step S140 are, for example, the minimum values of the sensitivity and exposure time of the camera 54, respectively. Further, the arithmetic processing unit 55G causes the camera 54 to image the marker 3m (step S150), acquires the imaging data of the camera 54, and determines whether or not the marker 3m can be normally recognized from the imaging data ( step S160).
  • the imaging conditions set in step S140 are changed from the situation information (place, time zone and season ) and stored in the storage device 57, and the imaging conditions (those linked to the location, time zone, etc.) are transmitted to the AMR management device 15 (step S165), and the series of processes in FIG. terminate.
  • the AMR management device 15 stores the imaging conditions from the transport robot 50 in the storage device of the AMR management device 15, and the preferred imaging conditions according to the request in step S120 are included in the imaging conditions stored in the storage device. exists, the suitable imaging condition is transmitted to the corresponding transport robot 50 .
  • step S160 when the arithmetic processing unit 55G determines that the marker 3m could not be normally recognized from the imaging data of the camera 54 (step S160: YES), it changes the imaging conditions of the camera 54 (step S170).
  • step S170 of the present embodiment if the initial conditions are set as the imaging conditions in step S140, the arithmetic processing unit 55G increases the sensitivity and the exposure time by predetermined values, respectively.
  • the arithmetic processing unit 55G causes the camera 54 to image the marker 3m again (step S180), acquires the imaged data of the camera 54, and determines whether the marker 3m can be normally recognized from the imaged data. It is determined whether or not (step S190).
  • step S190 If it is determined that the marker 3m could not be normally recognized from the imaging data of the camera 54 even though the imaging conditions were changed in step S170 (step S190: YES), the arithmetic processing unit 55G increments the counter C. After that (step S200), it is determined whether or not the counter C is equal to or greater than a predetermined threshold value Cref (relatively large positive value) (step S210). When the arithmetic processing unit 55G determines that the counter C is less than the threshold value Cref (step S210: NO), it repeatedly executes the processing of steps S170 to S210. As a result, the imaging conditions of the camera 54 are changed step by step until it is determined in step S190 that the marker 3m has been successfully recognized from the imaging data of the camera 54.
  • the arithmetic processing unit 55G stores the imaging conditions set in the most recent step S170 in the storage device 57. 6 to the AMR management device 15 (step S165), and the series of processing in FIG. 6 is once terminated.
  • the arithmetic processing unit 55G transmits a signal to the effect that an error has occurred to the AMR management device 15 (step S220), the series of processes in FIG. 6 is once terminated, and the travel of the transport robot 50 (transport of the carriage 5) is stopped.
  • step S110 determines whether the imaging conditions stored in the storage device 57 include the preferable imaging conditions.
  • step S110: NO determines whether the imaging conditions stored in the storage device 57 include the preferable imaging conditions.
  • step S115 stores the preferable imaging conditions in the camera 54.
  • step S150 is executed.
  • step S130: NO determines whether the suitable imaging conditions have been received from other transport robots 50 or the like.
  • step S130: NO determines whether the arithmetic processing unit 55G sets the suitable imaging conditions as the imaging conditions of the camera 54.
  • Step S115 the process after step S150 is executed.
  • step S115 determines that the marker 3m has been successfully recognized from the imaging data of the camera 54 after the processing of step S115 (step S160: NO)
  • the imaging condition set in step S115 is changed to the situation information ( location, time zone and season) and stored in the storage device 57, and transmitted to the AMR management device 15 (step S165), and the series of processing in FIG. 6 is temporarily terminated.
  • the arithmetic processing unit 55G changes the imaging conditions of the camera 54 (step S170).
  • the arithmetic processing unit 55G increases, for example, the sensitivity and the exposure time by predetermined values from the values in the suitable imaging conditions in step S170, If the marker 3m is still unrecognizable, the sensitivity and exposure time are decreased by predetermined values from the values under the suitable imaging conditions.
  • step S190: NO the arithmetic processing unit 55G determines that the marker 3m was successfully recognized from the imaging data of the camera 54 after the process of step S115 (step S190: NO).
  • the conditions are stored in the storage device 57 and transmitted to the AMR management device 15 (step S165), and the series of processing in FIG. 6 is once terminated.
  • the image pickup control unit 50 is configured to recognize the marker 3m or the like.
  • the arithmetic processing unit 55G changes stepwise the imaging conditions of the camera 54 as an imaging device (steps S150-S210). Further, the arithmetic processing unit 55G causes the storage device 57 to store the imaging conditions when the marker 3m or the like is recognized (step S165). Furthermore, in the transport robot 50, when the same marker 3m or the like is imaged by the camera 54 at the same location and at the same time period, that is, under the same or similar circumstances, the imaging conditions (preferred imaging conditions) stored in the storage device 57 are used. is applied (steps S100-S115).
  • the arithmetic processing unit 55G of the transport robot 50 can recognize the marker 3m or the like as a recognition target based on the imaging data (image data) of the camera 54.
  • the above-described preferred imaging conditions are such that the camera 54 captures another recognition target (eg, a structure marked with the marker 3m) different from the previous recognition target (eg, the marker 3m) at the same location and in the same time period. It goes without saying that it may be applied when
  • the arithmetic processing unit 55G as the imaging control unit etc. are recognized (steps S115, S150-S210), and the imaging conditions when the marker 3m etc. are recognized are stored in the storage device 57 (step S165).
  • the imaging condition preferred imaging condition
  • the arithmetic processing section 55G of the control device 55 estimates the self-position of the transport robot 50 based on the recognized marker 3m.
  • the transfer robot 50 including the control device 55 can be operated from any shipping line 4x (departure point) to any shipping data. It is possible to smoothly move to 3x (target point).
  • the object to be recognized by the transport robot 50 is not limited to the marker 3m arranged in the shipping area 3 (movable area of the transport robot 50), but may be a structure (stationary object) or the like placed in the shipping area 3. It goes without saying that it is possible.
  • the imaging conditions of the camera 54 include at least the sensitivity and exposure time of the camera 54 .
  • the imaging conditions can be changed stepwise to allow the arithmetic processing section 55G to recognize the marker 3m or the like.
  • the imaging conditions of the camera 54 may include the settings (on/off, light emission timing) of the light emitting device.
  • the imaging condition (preferred imaging condition) when the marker 3m as the recognition target is recognized by the arithmetic processing unit 55G as the recognition unit of any one of the transport robots 50 is (Steps S120-S130, S115). As a result, it is possible to efficiently perform work using a plurality of transport robots 50 .
  • the transport robot 50 recognizes the marker 5m as a recognition target attached to the cart 5, and supports and transports the cart 5. Therefore, the transport robot 50 may be used not only in the distribution center 1 but also in the backyard of a retail store such as a shopping center to transport an empty trolley or a trolley carrying a load, or transport the load itself. may be used to
  • the transport robot 50 travels the route to the target point while recognizing the plurality of markers 3m arranged inside the building of the distribution center 1. Therefore, the transport robot 50 may be used in a shopping center other than the distribution center 1, for example.
  • a transport robot 50 carrying featured products, bargain items, etc. may autonomously travel at a low speed along a predetermined route while recognizing a plurality of markers 3m arranged in the store.
  • the transport robot 50 on which bargain items and the like are placed may autonomously travel, for example, to the front of the cash register when the timing for carrying out a time sale arrives.
  • the plurality of markers 3m are not limited to being placed inside the building of the distribution center 1, and may be placed outside the building of the distribution center 1 (or on the boundary between inside and outside).
  • the transport robot 50 recognizes a marker M as a recognition target attached to the worker's clothing or the other transport robot 50, and recognizes the worker or the other transport robot 50. It may be configured to follow and move.
  • the transport robot 50 includes a plurality of mecanum wheels 51 that are rotationally driven by corresponding electric motors 52 . This makes it possible to increase the degree of freedom of movement of the transport robot 50 .
  • the transport robot 50 may include wheels other than mecanum wheels, such as wheels including general rubber tires.
  • the invention of the present disclosure can be used in industries such as the manufacturing of moving objects that recognize recognition targets based on imaging data of imaging devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Manipulator (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本開示の移動体は、認識対象を撮像する撮像装置と、撮像装置の撮像データに基づいて認識対象を認識する認識部とを含み、認識部により認識された認識対象に基づいて予め定められた動作を行う移動体であり、認識部により認識対象が認識されないときに、当該認識部により認識対象が認識されるように撮像装置の撮像条件を段階的に変化させ、認識部により認識対象が認識されたときの撮像条件を記憶装置に記憶させると共に、同一または類似した状況下で撮像装置により当該認識対象または他の認識対象を撮像する際に記憶装置に記憶された撮像条件を適用する撮像制御部を含む。これにより、周囲環境等が変化しても、撮像装置の撮像データに基づいて移動体に認識対象を認識させて、当該移動体の円滑な動作を確保することができる。

Description

移動体およびその制御方法
　本開示は、撮像装置の撮像データに基づいて認識対象を認識する移動体およびその制御方法に関する。
　従来、無人搬送車に搭載されるロボット装置として、ハンド部に設けられると共に作業台にセットされたワークを撮影するカメラを含むものが知られている（例えば、特許文献１参照）。このロボット装置は、カメラによりワークの形状および位置を認識するために、マスタワークを撮影した状態でカメラに設けられた絞り調整装置の絞り値を順に変更して照度に対応した最適絞り値を学習する。更に、ロボット装置は、最適絞り値を絞り値に設定した状態でパラメータ値を変更することにより、マスタワークの特徴量が目標値に最も近似するときの最適パラメータ値を照度に対応して求めてメモリに記憶させる。そして、ロボット装置は、ワークの認識に際し、絞り調整装置を現在の照度に対応した最適絞り値に調整すると共に現在の照度に対応した最適パラメータ値を特徴量抽出のためのパラメータとして設定し、カメラからの画像信号に基づいてワークを認識する。これにより、ワークがセットされる作業位置の明るさが変動しても、ワークを認識することができる。
特開平１１－２７２８４５号公報
　ところで、例えばＡＭＲ（Autonomous Mobile Robot）やＡＧＶ（Automatic Guides Vehicle）といった移動体に撮像装置の撮像データ（画像データ）に基づいてマーカーや搬送対象といった認識対象を認識させることで、物品の搬送等の効率化を図ることができる。しかしながら、移動体の周囲環境は、時間帯や当該移動体の位置等に応じて変化し、周囲環境の変化に起因して移動体に認識対象を認識させ得なくなると、作業に支障をきたしてしまう。また、移動体の使用場所や移動範囲は多岐にわたり、予め撮像装置の撮像条件を十分に学習しておくことは実質的に不可能である。
　そこで、本開示は、周囲環境等が変化しても、撮像装置の撮像データに基づいて移動体に認識対象を認識させて、当該移動体の円滑な動作を確保することを主目的とする。
　本開示の移動体は、認識対象を撮像する撮像装置と、前記撮像装置の撮像データに基づいて前記認識対象を認識する認識部とを含み、前記認識部により認識された前記認識対象に基づいて予め定められた動作を行う移動体において、前記認識部により前記認識対象が認識されないときに、前記認識部により前記認識対象が認識されるように前記撮像装置の撮像条件を段階的に変化させ、前記認識部により前記認識対象が認識されたときの前記撮像条件を記憶装置に記憶させると共に、同一または類似した状況下で前記撮像装置により前記認識対象または他の認識対象を撮像する際に前記記憶装置に記憶された前記撮像条件を適用する撮像制御部を含むものである。
　本開示の移動体では、認識部により認識対象が認識されないときに、認識部により認識対象が認識されるように撮像装置の撮像条件が段階的に変化させられ、認識部により認識対象が認識されたときの撮像条件が記憶装置に記憶される。更に、同一または類似した状況下で撮像装置により当該認識対象または他の認識対象を撮像する際には、記憶装置に記憶された撮像条件が適用される。これにより、例えば周囲環境が変化しても、撮像装置の撮像データに基づいて移動体に認識対象を認識させることができるので、予め撮像装置の撮像条件を十分に学習しておかなくても、移動体の円滑な動作を確保することが可能となる。
　本開示の移動体の制御方法は、認識対象を撮像する撮像装置と、前記撮像装置の撮像データに基づいて前記認識対象を認識する認識部とを含む移動体の制御方法において、前記認識部により前記認識対象が認識されないときに、前記認識部により前記認識対象が認識されるように前記撮像装置の撮像条件を段階的に変化させ、前記認識部により前記認識対象が認識されたときの前記撮像条件を記憶装置に記憶させると共に、同一または類似した状況下で前記撮像装置により前記認識対象または他の認識対象を撮像する際に前記記憶装置に記憶された前記撮像条件を適用するものである。
　かかる方法によれば、例えば周囲環境が変化しても、撮像装置の撮像データに基づいて移動体に認識対象を認識させることができるので、予め撮像装置の撮像条件を十分に学習しておかなくても、移動体の円滑な動作を確保することが可能となる。
本開示の移動体が適用される物流センターを示す概略構成図である。 図１の物流センターの物流管理システムを示すブロック図である。 図１の物流センターで用いられる台車を示す斜視図である。 本開示の移動体を示す斜視図である。 本開示の移動体の制御ブロック図である。 本開示の移動体における認識対象の認識手順を説明するためのフローチャートである。 本開示の移動体の変形態様を示す模式図である。
　次に、図面を参照しながら、本開示の発明を実施するための形態について説明する。
　図１は、本開示の移動体である自律走行可能な搬送ロボット（ＡＭＲ：Autonomous Mobile Robot）５０が適用される物流センター１を示す概略構成図であり、図２は、物流センター１の物流管理システム１０を示すブロック図である。図１に示す物流センター１は、荷物（商品）の保管、輸送、荷役、包装、流通加工等が行われる設備である。図示するように、物流センター１は、複数の搬送ロボット５０に加えて、トラック等の配送車Ｔの入口２と、複数の出荷ゲート３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆ，３ｇ，３ｈ，３ｉ，３ｊ，３ｋ，３ｌ（以下、適宜、出荷ゲートを総称して「出荷ゲート３ｘ」という。）を有する出荷エリア３と、包装された多数の荷物Ｐを図示しない倉庫から出荷エリア３へと搬送するコンベヤ４と、複数の台車５とを含む。物流センター１において、荷物Ｐは、コンベヤ４により出荷エリア３まで搬送され、台車５に積み替えられる。また、荷物Ｐを載せた荷役器具としての台車５は、搬送ロボット５０により該当する出荷ゲート３ｘまで搬送される。そして、荷物Ｐを載せた台車５は、出荷ゲート３ｘにおいて該当する配送車Ｔに積み込まれ、当該配送車Ｔにより出荷先まで搬送される。
　物流センター１の入口２には、当該入口２に到着した配送車Ｔを撮像する入口カメラ２０と、配送車Ｔのドライバーに各種情報を視覚的に提供するためのモニタ２１と、入口管理装置２５（図２参照）が設置されている。入口管理装置２５は、ＣＰＵ，ＲＯＭ，ＲＡＭ、記憶装置、通信モジュール等を含むコンピュータであり、入口カメラ２０の撮像データ（画像データ）に基づいて入口２に到着した配送車ＴのＩＤを取得する。すなわち、入口カメラ２０および入口管理装置２５は、入口２のＩＤ取得装置として機能する。本実施形態において、配送車ＴのＩＤは、例えば物流センター１から配送車Ｔに予め付与された番号であり、配送車Ｔには、入口カメラ２０から認識可能となるように当該ＩＤを示す図示しないマーカーが貼着されている。ただし、配送車ＴのＩＤは、当該配送車Ｔの自動車登録番号であってもよく、図示しない通信機器を介して取得されるＥＴＣ等の車載機器の番号であってもよい。更に、入口管理装置２５は、モニタ２１にドライバーに対して提供すべき情報を表示させる。
　また、各出荷ゲート３ａ－３ｌには、当該出荷ゲート３ａ－３ｌに到着した配送車Ｔを撮像するカメラ３０と、配送車Ｔへの積み込みに際して通過する台車５を撮像可能な台車検出器３１と、出荷ゲート管理装置３５（図２参照）とが設置されている。出荷ゲート管理装置３５は、ＣＰＵ，ＲＯＭ，ＲＡＭ、記憶装置、通信モジュール等を含むコンピュータであり、カメラ３０の撮像データ（画像データ）に基づいて出荷ゲート３ａ，３ｂ…、または３ｌに到着した配送車ＴのＩＤを取得する。すなわち、カメラ３０および出荷ゲート管理装置３５は、各出荷ゲート３ａ－３ｌにおける配送車ＩＤ取得装置として機能する。また、出荷ゲート管理装置３５は、台車検出器３１の撮像データ（画像データ）に基づいて配送車Ｔに積み込まれる台車５のＩＤを取得する。すなわち、台車検出器３１および出荷ゲート管理装置３５は、各出荷ゲート３ａ－３ｌにおける台車ＩＤ取得装置として機能する。
　コンベヤ４は、主搬送ライン４０と、それぞれ出荷ゲート３ａ－３ｌの対応する１つと対向するように当該主搬送ライン４０から分岐された複数の出荷ライン４ａ，４ｂ，４ｃ，４ｄ，４ｅ，４ｆ，４ｇ，４ｈ，４ｉ，４ｊ，４ｋ，４ｌを含む（以下、適宜、出荷ラインを総称して「出荷ライン４ｘ」という。）。かかるコンベヤ４は、ＣＰＵ，ＲＯＭ，ＲＡＭ、記憶装置、通信モジュール等を含むコンピュータであるコンベヤ制御装置１４（図２参照）により制御される。物流センター１で取り扱われる荷物Ｐには、そのＩＤを示すバーコードシールが貼着されており、コンベヤ制御装置１４は、荷物ＰのＩＤに基づいてコンベヤ４を制御する。すなわち、コンベヤ制御装置１４は、図示しないバーコードリーダを介して主搬送ライン４０上の荷物ＰのＩＤを取得し、取得したＩＤに基づいて主搬送ライン４０により出荷エリア３まで搬送された荷物Ｐを該当する出荷ライン４ｘに仕分けるようにコンベヤ４を制御する。
　台車５は、図３に示すような、いわゆるカゴ台車であり、当該台車５のＩＤを示すＡＲマーカーやＱＲコード、バーコードといった認識対象としてのマーカー５ｍを含む。マーカー５ｍは、搬送ロボット５０や台車検出器３１により認識され得るように台車５の少なくとも１箇所（図３の例では、２箇所）に設けられる。また、物流センター１では、図１に示すように、出荷エリア３内に保管場所（配置場所）６が確保されている。未使用の台車５は、保管場所６に整列して配置され、使用対象となる台車５は、搬送ロボット５０により識別されて保管場所６から指定箇所へと搬送される。更に、物流センター１の建屋内の出荷エリア３の床面や柱等には、各搬送ロボット５０を自律走行させるためのＡＲマーカーやＱＲコードといった認識対象としての複数のマーカー３ｍが貼着されている。
　図２に示すように、物流管理システム１０は、管理装置としての管理サーバ１１と、記憶装置１２とを含む。管理サーバ１１は、ＣＰＵ，ＲＯＭ，ＲＡＭ、通信モジュール等を有するコンピュータである。管理サーバ１１は、入口管理装置２５および各出荷ゲート３ａ－３ｌの出荷ゲート管理装置３５から各種情報を取得すると共に、入口管理装置２５、および各出荷ゲート管理装置３５に要求された情報や指令信号を送信する。更に、管理サーバ１１は、荷物ＰのＩＤといった荷物Ｐの仕分けに必要な情報をコンベヤ制御装置１４に送信すると共に、ＡＭＲ管理装置１５と相互に情報をやり取りする。ＡＭＲ管理装置１５は、ＣＰＵ，ＲＯＭ，ＲＡＭ、記憶装置、通信モジュール等を含むコンピュータであり、無線通信を介して複数の搬送ロボット５０と情報をやり取りして当該複数の搬送ロボット５０を管理するものである。
　また、物流管理システム１０の記憶装置１２は、荷物Ｐの配送に関する情報を物流センター１からＩＤが付与された複数の配送車Ｔごとに格納した配送データベースを記憶する。当該配送データベースは、配送車ＴのＩＤに、当該配送車Ｔに積載される荷物ＰのＩＤと、当該荷物Ｐの出荷先と、配送車Ｔへの荷積みが行われる出荷ゲート３ｘ（以下、適宜「荷積みゲート３ｚ」という。）のＩＤとを紐付けて（関連付けて）格納するものである。更に、記憶装置１２は、出荷エリア３（物流センター１）における搬送ロボット５０の移動可能領域および移動禁止領域、各領域の識別標識情報、マーカー３ｍの位置情報、移動禁止となる時間帯等を含むエリア情報を記憶する。
　図４は、搬送ロボット５０を示す斜視図であり、図５は、搬送ロボット５０の制御ブロック図である。図４および図５に示すように、搬送ロボット５０は、複数（４つ）のメカナムホイール５１と、それぞれ対応するメカナムホイール５１を回転駆動する複数（４つ）の電動モータ５２と、台車５を昇降させるための昇降ユニット５３とを含み、台車５の下方に進退移動可能に構成されている。各メカナムホイール５１は、一対の支持プレート５１ｐと、当該一対の支持プレート５１ｐによって、環状に並ぶように支持されると共に、それぞれ車軸に対して４５°だけ傾斜した軸心周りに回転可能な複数のローラ５１ｒとを含むものである。これにより、複数の電動モータ５２の回転方向および回転速度を制御することで、搬送ロボット５０を全方向に移動させると共に、搬送ロボット５０を超信地旋回、信地旋回あるいは緩旋回させることが可能となる。昇降ユニット５３は、台車５を支持する支持部材と、台車５の各車輪が走行路面から離間したり、当該走行路面に接地したりするように当該支持部材を搬送ロボット５０の本体に対して昇降させる駆動装置とを含む。
　更に、搬送ロボット５０は、撮像装置としてのカメラ５４と、制御装置５５と、ＡＭＲ管理装置１５や他の搬送ロボット５０との通信（無線通信）に供される通信モジュール５６と、記憶装置５７とを含む。カメラ５４は、搬送ロボット５０の周囲を撮像し、撮像データ（画像データ）を制御装置５５に送信する。制御装置５５は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を含むコンピュータである。制御装置５５には、図５に示すように、ＣＰＵやＲＯＭ，ＲＡＭといったハードウエアと予めインストールされた各種プログラムとの協働により、演算処理部５５Ｇ、走行制御部５５Ｄおよび昇降制御部５５Ｌが構築される。
　制御装置５５の演算処理部５５Ｇは、ＶＳＬＡＭ技術（自己位置推定技術）を利用するものであり、搬送ロボット５０の走行中、所定時間（微小時間）おきに、カメラ５４の撮像データに基づいて当該搬送ロボット５０の出荷エリア３（物流センター１）における自己位置（３次元座標）と環境地図とを取得し、記憶装置５７に記憶させる。また、演算処理部５５Ｇは、カメラ５４の撮像データから出荷エリア３のマーカー３ｍや台車５のマーカー５ｍ（台車５のＩＤ）を認識（識別）すると共に、台車５等の対象物自体を認識（識別）することができる。更に、演算処理部５５Ｇは、搬送ロボット５０の走行中に出荷エリア３に配設されたマーカー３ｍを認識し、予め判明しているマーカー３ｍの位置に基づいて推定した自己位置や環境地図を補正する。また、演算処理部５５Ｇは、カメラ５４の感度（撮像素子のゲイン）および露光時間（シャッタースピード）を調節可能である。更に、演算処理部５５Ｇは、カメラ５４の撮像データからマーカー３ｍ，５ｍといった認識対象を正常に認識し得たときの当該カメラ５４の撮像条件すなわち感度および露光時間を状況情報、すなわちマーカー３ｍ等の場所（ＩＤ）、当該マーカー３ｍ等が撮像された時間帯および季節に紐付けて記憶装置５７に記憶させる。
　制御装置５５の走行制御部５５Ｄは、演算処理部５５Ｇにより取得された自己位置（現在位置）や環境地図等に基づいて複数の電動モータ５２を制御する。更に、昇降制御部５５Ｌは、搬送ロボット５０が該当する台車５の下方に位置する際に、当該台車５を上昇または下降させるように昇降ユニット５３を制御する。なお、制御装置５５の演算処理部５５Ｇは、２Ｄまたは３ＤＬｉＤＡＲ（レーザーセンサ）等を用いたＳＬＡＭ技術により自己位置と環境地図とを取得するように構成されてもよく、マーカーの位置のみに基づいて自己位置を推定するように構成されてもよく、ビーコン等を利用した屋内測位技術により自己位置と環境地図とを取得するように構成されてもよい。また、搬送ロボット５０は、一般的なゴムタイヤを含む車輪といったメカナムホイール以外の車輪を含むものであってもよい。
　ここで、搬送ロボット５０が使用される物流センター１の出荷エリア３は、広い面積を有し、場所によって日差しの入り方が異なる。従って、搬送ロボット５０の周囲環境は、時間帯や出荷エリア３における搬送ロボット５０の位置等に応じて変化し、周囲環境の変化に起因して搬送ロボット５０に認識対象としてのマーカー３ｍ，５ｍ等を認識させ得なくなってしまい、自己位置の推定や、自己位置の推定結果を利用する台車５の搬送といった作業に支障をきたすことがある。一方、搬送ロボット５０の移動範囲は多岐にわたり、予め撮像装置としてのカメラ５４の撮像条件を十分に学習しておくことは実質的に不可能である。これらを踏まえて、搬送ロボット５０は、マーカー３ｍ，５ｍ等の認識不良を抑制すべく、図６に示す手順に従ってマーカー３ｍ，５ｍ等を認識する。以下、搬送ロボット５０が何れかの出荷ライン４ｘから対応する出荷ゲート３ｘまで台車５を搬送する際に、出荷エリア３の床面や柱等に貼着された認識対象としてのマーカー３ｍを認識するケースを例にとって図６に示す一連の処理について説明する。
　物流センター１では、入口２への配送車Ｔの到着に応じて、管理サーバ１１が荷積みゲート３ｚとなる出荷ゲート３ｘを定め、出荷ゲート３ｘのＩＤといった必要な情報をＡＭＲ管理装置１５に送信する。ＡＭＲ管理装置１５は、荷積みゲート３ｚとなる出荷ゲート３ｘのＩＤを含む必要な情報を該当する搬送ロボット５０に送信して目標地点となる当該出荷ゲート３ｘを搬送ロボット５０の走行ルートに反映させる。ＡＭＲ管理装置１５から情報を受信した搬送ロボット５０は、カメラ５４の撮像データから該当するＩＤをもった台車５を認識（識別）し、演算処理部５５Ｇにより推定される自己位置に基づいて走行して当該台車５を当該出荷ゲート３ｘまで搬送する。
　このように搬送ロボット５０が出荷エリア３内を走行する際、当該搬送ロボット５０の制御装置５５の演算処理部５５Ｇは、カメラ５４の撮像データに基づいて推定した当該搬送ロボット５０の自己位置が出荷エリア３の何れかのマーカー３ｍを撮像可能な範囲に含まれたと判断すると、記憶装置５７から記憶されているカメラ５４の撮像条件（感度および露出時間）を読み出す（ステップＳ１００）。更に、演算処理部５５Ｇは、読み出した撮像条件の中に、現在と同一の時間帯においてカメラ５４の撮像データから当該マーカー３ｍを正常に認識し得たときの撮像条件（以下、「好適撮像条件」という）が含まれているか否かを判定する（ステップＳ１１０）。
　演算処理部５５Ｇは、記憶装置５７に記憶された撮像条件の中に好適撮像条件が含まれていないと判定した場合（ステップＳ１１０：ＹＥＳ）、他の搬送ロボット５０およびＡＭＲ管理装置１５（他の機器）に対して好適撮像条件の送信を要求し（ステップＳ１２０）、他の搬送ロボット５０等から好適撮像条件を受信し得たか否かを判定する（ステップＳ１３０）。また、演算処理部５５Ｇは、他の搬送ロボット５０等から好適撮像条件を受信し得なかったと判定した場合（ステップＳ１３０：ＹＥＳ）、予め定められた初期条件をカメラ５４の撮像条件に設定する（ステップＳ１４０）。本実施形態において、ステップＳ１４０にて設定される初期条件は、例えばカメラ５４の感度および露出時間をそれぞれ最小値とするものである。更に、演算処理部５５Ｇは、カメラ５４にマーカー３ｍを撮像させ（ステップＳ１５０）、当該カメラ５４の撮像データを取得すると共に当該撮像データからマーカー３ｍを正常に認識し得たか否かを判定する（ステップＳ１６０）。
　演算処理部５５Ｇは、カメラ５４の撮像データからマーカー３ｍを正常に認識し得たと判定した場合（ステップＳ１６０：ＮＯ）、ステップＳ１４０にて設定した撮像条件を上記状況情報（場所、時間帯および季節）に紐付けて記憶装置５７に記憶させると共に、当該撮像条件（場所や時間帯等に紐付けられたもの）をＡＭＲ管理装置１５に送信し（ステップＳ１６５）、図６の一連の処理を一旦終了させる。ＡＭＲ管理装置１５は、搬送ロボット５０からの撮像条件を当該ＡＭＲ管理装置１５の記憶装置に記憶させ、当該記憶装置に記憶された撮像条件の中に、上記ステップＳ１２０における要求に応じた好適撮像条件が存在する場合、当該好適撮像条件を該当する搬送ロボット５０に送信する。
　また、演算処理部５５Ｇは、カメラ５４の撮像データからマーカー３ｍを正常に認識し得なかったと判定した場合（ステップＳ１６０：ＹＥＳ）、カメラ５４の撮像条件を変更する（ステップＳ１７０）。本実施形態のステップＳ１７０において、演算処理部５５Ｇは、ステップＳ１４０にて上記初期条件を撮像条件に設定した場合、感度および露出時間をそれぞれ予め定められた値だけ大きくする。ステップＳ１７０の処理の後、演算処理部５５Ｇは、再度カメラ５４にマーカー３ｍを撮像させ（ステップＳ１８０）、当該カメラ５４の撮像データを取得すると共に当該撮像データからマーカー３ｍを正常に認識し得たか否かを判定する（ステップＳ１９０）。
　ステップＳ１７０にて撮像条件を変更したにも拘わらず、カメラ５４の撮像データからマーカー３ｍを正常に認識し得なかったと判定した場合（ステップＳ１９０：ＹＥＳ）、演算処理部５５Ｇは、カウンタＣをインクリメントした上で（ステップＳ２００）、当該カウンタＣが予め定められた閾値Ｃｒｅｆ（比較的大きい正の値）以上であるか否かを判定する（ステップＳ２１０）。演算処理部５５Ｇは、カウンタＣが閾値Ｃｒｅｆ未満であると判定した場合（ステップＳ２１０：ＮＯ）、ステップＳ１７０－Ｓ２１０の処理を繰り返し実行する。これにより、ステップＳ１９０にてカメラ５４の撮像データからマーカー３ｍを正常に認識し得たと判定されるまで、カメラ５４の撮像条件が段階的に変更されていく。
　また、カメラ５４の撮像データからマーカー３ｍを正常に認識し得たと判定した場合（ステップＳ１９０：ＮＯ）、演算処理部５５Ｇは、直近のステップＳ１７０にて設定された撮像条件を記憶装置５７に記憶させると共にＡＭＲ管理装置１５に送信し（ステップＳ１６５）、図６の一連の処理を一旦終了させる。なお、極めて稀なケースではあるが、ステップＳ２１０にてカウンタＣが閾値Ｃｒｅｆ以上であると判定した場合、演算処理部５５Ｇは、ＡＭＲ管理装置１５にエラーが発生した旨の信号を送信し（ステップＳ２２０）、図６の一連の処理を一旦終了させると共に搬送ロボット５０の走行（台車５の搬送）を停止させる。
　一方、ステップＳ１１０にて記憶装置５７に記憶された撮像条件の中に好適撮像条件が含まれていると判定した場合（ステップＳ１１０：ＮＯ）、演算処理部５５Ｇは、当該好適撮像条件をカメラ５４の撮像条件に設定し（ステップＳ１１５）、ステップＳ１５０以降の処理を実行する。また、ステップＳ１３０にて他の搬送ロボット５０等から好適撮像条件を受信し得たと判定した場合（ステップＳ１３０：ＮＯ）、演算処理部５５Ｇは、当該好適撮像条件をカメラ５４の撮像条件に設定し（ステップＳ１１５）、ステップＳ１５０以降の処理を実行する。演算処理部５５Ｇは、ステップＳ１１５の処理の後にカメラ５４の撮像データからマーカー３ｍを正常に認識し得たと判定した場合（ステップＳ１６０：ＮＯ）、ステップＳ１１５にて設定した撮像条件を上記状況情報（場所、時間帯および季節）に紐付けて記憶装置５７に記憶させると共にＡＭＲ管理装置１５に送信し（ステップＳ１６５）、図６の一連の処理を一旦終了させる。
　また、ステップＳ１１５の処理の後にカメラ５４の撮像データからマーカー３ｍを正常に認識し得なかったと判定した場合（ステップＳ１６０：ＹＥＳ）、演算処理部５５Ｇは、カメラ５４の撮像条件を変更する（ステップＳ１７０）。演算処理部５５Ｇは、ステップＳ１１５にて上記好適撮像条件を撮像条件に設定した場合、ステップＳ１７０において、例えば感度および露出時間を好適撮像条件における値からそれぞれ予め定められた値だけ大きくしていき、それでもマーカー３ｍを認識し得ない場合、感度および露出時間を好適撮像条件における値からそれぞれ予め定められた値だけ小さくしていく。そして、演算処理部５５Ｇは、ステップＳ１１５の処理の後に、カメラ５４の撮像データからマーカー３ｍを正常に認識し得たと判定した場合（ステップＳ１９０：ＮＯ）、直近のステップＳ１７０にて設定された撮像条件を記憶装置５７に記憶させると共にＡＭＲ管理装置１５に送信し（ステップＳ１６５）、図６の一連の処理を一旦終了させる。
　以上説明したように、搬送ロボット５０では、認識部としての演算処理部５５Ｇが認識対象としてのマーカー３ｍ等を認識し得なかったときに、マーカー３ｍ等が認識されるように撮像制御部としての演算処理部５５Ｇが撮像装置としてのカメラ５４の撮像条件を段階的に変化させる（ステップＳ１５０－Ｓ２１０）。また、演算処理部５５Ｇは、マーカー３ｍ等が認識されたときの撮像条件を記憶装置５７に記憶させる（ステップＳ１６５）。更に、搬送ロボット５０では、同一場所かつ同一時間帯すなわち同一または類似した状況下でカメラ５４により同一のマーカー３ｍ等を撮像する際には、記憶装置５７に記憶された撮像条件（好適撮像条件）が適用される（ステップＳ１００－Ｓ１１５）。
　これにより、例えば周囲環境が変化しても、カメラ５４の撮像データ（画像データ）に基づいて搬送ロボット５０の演算処理部５５Ｇに認識対象としてのマーカー３ｍ等を認識させることができる。この結果、予めカメラ５４の撮像条件を十分に学習しておかなくても、搬送ロボット５０の円滑な動作を確保することが可能となる。なお、上述の好適撮像条件は、同一場所かつ同一時間帯でカメラ５４により前回の認識対象（例えばマーカー３ｍ）とは異なる他の認識対象（例えば、マーカー３ｍが付された構造物等）を撮像する際に適用されてもよいことは、いうまでもない。
　また、撮像制御部としての演算処理部５５Ｇは、記憶装置５７に記憶された撮像条件（好適撮像条件）を適用しても認識対象としてのマーカー３ｍ等が認識されなかったときに、当該マーカー３ｍ等が認識されるようにカメラ５４の撮像条件を変化させ（ステップＳ１１５，Ｓ１５０－Ｓ２１０）、マーカー３ｍ等が認識されたときの撮像条件を記憶装置５７に記憶させる（ステップＳ１６５）。これにより、搬送ロボット５０の周囲環境の変化により良好に対応することが可能となる。
　更に、制御装置５５の演算処理部５５Ｇは、認識されたマーカー３ｍに基づいて搬送ロボット５０の自己位置を推定するものである。かかる制御装置５５を含む搬送ロボット５０において例えば周囲環境が変化しても認識対象を認識できるようにすることで、当該搬送ロボット５０を何れかの出荷ライン４ｘ（出発地点）から何れかの出荷データ３ｘ（目標地点）まで円滑に移動させることが可能となる。ただし、搬送ロボット５０の認識対象は、出荷エリア３（搬送ロボット５０の移動可能領域）に配設されたマーカー３ｍに限られず、当該出荷エリア３に配置されている構造物（静止物）等であってもよいことはいうまでもない。
　また、上記実施形態において、カメラ５４の撮像条件は、少なくとも当該カメラ５４の感度および露光時間を含む。これにより、演算処理部５５Ｇにより認識対象であるマーカー３ｍ等が認識されないときに、撮像条件を段階的に変化させて当該演算処理部５５Ｇにマーカー３ｍ等を認識させることが可能となる。ただし、カメラ５４が発光装置を含むものである場合、当該発光装置の設定（オン／オフ、発光タイミング）等がカメラ５４の撮像条件に含まれてもよい。
　更に、上記実施形態において、何れか１つの搬送ロボット５０の認識部としての演算処理部５５Ｇにより認識対象としてのマーカー３ｍが認識されたときの撮像条件（好適撮像条件）は、他の搬送ロボット５０により共用されることになる（ステップＳ１２０－Ｓ１３０，Ｓ１１５）。これにより、複数の搬送ロボット５０を利用する作業を効率よく実行することが可能となる。
　また、搬送ロボット５０は、台車５に付された認識対象としてのマーカー５ｍを認識すると共に、当該台車５を支持して搬送するものである。従って、上記搬送ロボット５０は、物流センター１のみならず、ショッピングセンター等の小売店のバックヤードで空の台車や荷物を載せた台車を搬送するのに用いられてもよく、あるいは荷物自体を搬送するのに用いられてもよい。
　更に、搬送ロボット５０は、物流センター１の建屋内に配設された複数のマーカー３ｍを認識しながら目標地点までのルートを走行する。従って、搬送ロボット５０は、物流センター１以外の例えばショッピングセンターにおいて使用されてもよい。ショッピングセンターでは、例えば、目玉商品や特価品等を載せた搬送ロボット５０を店内に配設された複数のマーカー３ｍを認識させながら予め定められたルートに沿って低速で自律走行させてもよく、タイムセールの実施タイミングの到来等に応じて特価品等を載せた搬送ロボット５０を例えばレジ前まで自律走行させてもよい。なお、複数のマーカー３ｍは、物流センター１の建屋内に配設されたものに限られず、物流センター１の建屋外（あるいは内外の境界）に配設されたものであってもよい。
　また、搬送ロボット５０は、図７に示すように、作業者の衣服等あるいは他の搬送ロボット５０に付された認識対象としてのマーカーＭを認識して当該作業者または当該他の搬送ロボット５０に追従して移動するように構成されてもよい。
　更に、搬送ロボット５０は、それぞれ対応する電動モータ５２により回転駆動される複数のメカナムホイール５１を含むものである。これにより、搬送ロボット５０の移動の自由度をより高くすることが可能となる。ただし、搬送ロボット５０が、一般的なゴムタイヤを含む車輪といったメカナムホイール以外の車輪を含むものであってもよいことは、上述のとおりである。
　そして、本開示の発明は上記実施形態に何ら限定されるものではなく、本開示の外延の範囲内において様々な変更をなし得ることはいうまでもない。更に、上記実施形態は、あくまで発明の概要の欄に記載された発明の具体的な一形態に過ぎず、発明の概要の欄に記載された発明の要素を限定するものではない。
　本開示の発明は、撮像装置の撮像データに基づいて認識対象を認識する移動体の製造産業等において利用可能である。
　１　物流センター、２　入口、３　出荷エリア、３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆ，３ｇ，３ｈ，３ｉ，３ｊ，３ｋ，３ｌ，３ｘ　出荷ゲート、３ｍ　マーカー、４　コンベヤ、４ａ，４ｂ，４ｃ，４ｄ，４ｅ，４ｆ，４ｇ，４ｈ，４ｉ，４ｊ，４ｋ，４ｌ，４ｘ　出荷ライン、４０　主搬送ライン、５　台車、５ｍ　マーカー、６　保管場所、１０　物流管理システム、１１　管理サーバ、１２　記憶装置、１４　コンベヤ制御装置、１５　ＡＭＲ管理装置、２０　入口カメラ、２１　モニタ、２５　入口管理装置、３０　カメラ、３１　台車検出器、３５　出荷ゲート管理装置、５０　搬送ロボット、５１　メカナムホイール、５１ｐ　支持プレート、５１ｒ　ローラ、５２　電動モータ、５３　昇降ユニット、５４　カメラ、５５　制御装置、５５Ｄ　走行制御部、５５Ｇ　演算処理部、５５Ｌ　昇降制御部、５６　通信モジュール、５７　記憶装置、Ｍ　マーカー、Ｐ　荷物、Ｔ　配送車。

Claims (10)

  1. 　認識対象を撮像する撮像装置と、前記撮像装置の撮像データに基づいて前記認識対象を認識する認識部とを含み、前記認識部により認識された前記認識対象に基づいて予め定められた動作を行う移動体において、
    　前記認識部により前記認識対象が認識されないときに、前記認識部により前記認識対象が認識されるように前記撮像装置の撮像条件を段階的に変化させ、前記認識部により前記認識対象が認識されたときの前記撮像条件を記憶装置に記憶させると共に、同一または類似した状況下で前記撮像装置により前記認識対象または他の認識対象を撮像する際に前記記憶装置に記憶された前記撮像条件を適用する撮像制御部を備える移動体。
  2. 　請求項１に記載の移動体において、
    　前記撮像制御部は、前記記憶装置に記憶された前記撮像条件を適用しても前記認識部により前記認識対象が認識されなかったときに、前記認識部により前記認識対象が認識されるように前記撮像装置の撮像条件を変化させ、前記認識部により前記認識対象が認識されたときの前記撮像条件を記憶装置に記憶させる移動体。
  3. 　請求項１または２に記載の移動体において、前記認識部により認識された前記認識対象に基づいて自己位置を推定する移動体。
  4. 　請求項１から３の何れか一項に記載の移動体において、前記撮像条件は、少なくとも前記撮像装置の感度および露光時間を含む移動体。
  5. 　請求項１から４の何れか一項に記載の移動体において、前記認識部により前記認識対象が認識されたときの前記撮像条件は、他の移動体により共用される移動体。
  6. 　請求項１から５の何れか一項に記載の移動体において、台車に付された前記認識対象を認識すると共に、前記台車を支持して搬送する移動体。
  7. 　請求項１から５の何れか一項に記載の移動体において、建屋内および／または建屋外に配設された複数の認識対象を認識しながら目標地点までのルートを走行する移動体。
  8. 　請求項１から５の何れか一項に記載の移動体において、
    　作業者または他の移動体に付された前記認識対象を認識して前記作業者または前記他の移動体に追従して移動する移動体。
  9. 　請求項１から８の何れか一項に記載の移動体において、
    　それぞれ対応する電動モータにより回転駆動される複数のメカナムホイールを含む移動体。
  10. 　認識対象を撮像する撮像装置と、前記撮像装置の撮像データに基づいて前記認識対象を認識する認識部とを含む移動体の制御方法において、
    　前記認識部により前記認識対象が認識されないときに、前記認識部により前記認識対象が認識されるように前記撮像装置の撮像条件を段階的に変化させ、前記認識部により前記認識対象が認識されたときの前記撮像条件を記憶装置に記憶させると共に、同一または類似した状況下で前記撮像装置により前記認識対象または他の認識対象を撮像する際に前記記憶装置に記憶された前記撮像条件を適用する移動体の制御方法。
PCT/JP2021/034666 2021-09-22 2021-09-22 移動体およびその制御方法 WO2023047476A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2021/034666 WO2023047476A1 (ja) 2021-09-22 2021-09-22 移動体およびその制御方法
JP2023549208A JPWO2023047476A1 (ja) 2021-09-22 2021-09-22
CN202180101406.7A CN117897950A (zh) 2021-09-22 2021-09-22 移动体及其控制方法
EP21958353.1A EP4407399A1 (en) 2021-09-22 2021-09-22 Moving body and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/034666 WO2023047476A1 (ja) 2021-09-22 2021-09-22 移動体およびその制御方法

Publications (1)

Publication Number Publication Date
WO2023047476A1 true WO2023047476A1 (ja) 2023-03-30

Family

ID=85720283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034666 WO2023047476A1 (ja) 2021-09-22 2021-09-22 移動体およびその制御方法

Country Status (4)

Country Link
EP (1) EP4407399A1 (ja)
JP (1) JPWO2023047476A1 (ja)
CN (1) CN117897950A (ja)
WO (1) WO2023047476A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185414A (ja) * 1995-12-28 1997-07-15 Shinko Electric Co Ltd ワゴン台車の配送システム
JPH11272845A (ja) 1998-03-23 1999-10-08 Denso Corp 画像認識装置
JP2001134318A (ja) * 1999-11-05 2001-05-18 Murata Mach Ltd 無人搬送車システム
WO2013183338A1 (ja) * 2012-06-07 2013-12-12 ソニー株式会社 情報処理装置および記憶媒体
JP2016119014A (ja) * 2014-12-23 2016-06-30 株式会社デンソーウェーブ 情報コード読取装置
WO2019031168A1 (ja) * 2017-08-07 2019-02-14 パナソニック株式会社 移動体および移動体の制御方法
JP2019028974A (ja) * 2017-07-27 2019-02-21 戸田建設株式会社 資機材の自動水平・垂直搬送方法、とその自動水平・垂直搬送装置
JP2020027589A (ja) * 2018-08-17 2020-02-20 東芝テック株式会社 コードシンボル読取装置及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185414A (ja) * 1995-12-28 1997-07-15 Shinko Electric Co Ltd ワゴン台車の配送システム
JPH11272845A (ja) 1998-03-23 1999-10-08 Denso Corp 画像認識装置
JP2001134318A (ja) * 1999-11-05 2001-05-18 Murata Mach Ltd 無人搬送車システム
WO2013183338A1 (ja) * 2012-06-07 2013-12-12 ソニー株式会社 情報処理装置および記憶媒体
JP2016119014A (ja) * 2014-12-23 2016-06-30 株式会社デンソーウェーブ 情報コード読取装置
JP2019028974A (ja) * 2017-07-27 2019-02-21 戸田建設株式会社 資機材の自動水平・垂直搬送方法、とその自動水平・垂直搬送装置
WO2019031168A1 (ja) * 2017-08-07 2019-02-14 パナソニック株式会社 移動体および移動体の制御方法
JP2020027589A (ja) * 2018-08-17 2020-02-20 東芝テック株式会社 コードシンボル読取装置及びプログラム

Also Published As

Publication number Publication date
EP4407399A1 (en) 2024-07-31
JPWO2023047476A1 (ja) 2023-03-30
CN117897950A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US11119487B2 (en) Automated preparation of deliveries in delivery vehicles using automated guided vehicles
CA3066261C (en) Automated loading of delivery vehicles using automated guided vehicles
US11124401B1 (en) Automated loading of delivery vehicles
CN205230118U (zh) 一种基于多机器人的智能仓库管理系统
CN112469647A (zh) 构造成操纵货物的转移站和货物容器分拣方法
US20190177086A1 (en) A picking system having a transport robot for moving underneath individualshelves and transporting vehicle
CN111771175B (zh) 搬运车的行驶控制系统、以及搬运车的行驶控制方法
KR102197776B1 (ko) 하역장치
JP2021510135A (ja) 全方向移動台車
JP2018090084A (ja) 連結装置、連結走行装置及び自律走行装置
CN109466903A (zh) 一种多托盘自动搬运车及其搬运方法
JP2022518012A (ja) 自動運転車用自律放送システム
JP7081194B2 (ja) 搬送車の走行制御システム、及び、搬送車の走行制御方法
CN116745226A (zh) 输送车辆和用于将负载单元输送到车辆的方法
CN209554179U (zh) 一种多托盘自动搬运车
WO2023047476A1 (ja) 移動体およびその制御方法
JP2023541564A (ja) トランスポンダを備えるとともに垂直に積み重ねて配置された空気入りタイヤを収容する倉庫の管理方法
JP7095301B2 (ja) 搬送車の走行制御システム、及び、搬送車の走行制御方法
KR20210067661A (ko) 라인트레이서와 rfid를 이용한 자동택배분류기
EP3647896A1 (en) Virtual coupling
WO2023053159A1 (ja) 物流管理システムおよび物流管理方法
WO2023053180A1 (ja) 移動体の制御装置および制御方法
JP5413285B2 (ja) 移動体とその旋回半径算出方法
WO2022190324A1 (ja) 移動システム及び管理装置
WO2024157301A1 (ja) 搬送システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21958353

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549208

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180101406.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021958353

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021958353

Country of ref document: EP

Effective date: 20240422