WO2023190122A1 - 商品移動装置及びその制御方法 - Google Patents
商品移動装置及びその制御方法 Download PDFInfo
- Publication number
- WO2023190122A1 WO2023190122A1 PCT/JP2023/011752 JP2023011752W WO2023190122A1 WO 2023190122 A1 WO2023190122 A1 WO 2023190122A1 JP 2023011752 W JP2023011752 W JP 2023011752W WO 2023190122 A1 WO2023190122 A1 WO 2023190122A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- product
- shelf
- moving device
- lane
- gripping
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 238000005192 partition Methods 0.000 claims description 59
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 abstract description 14
- 239000000047 product Substances 0.000 description 360
- 230000007246 mechanism Effects 0.000 description 49
- 230000003028 elevating effect Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 18
- 238000013500 data storage Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 235000013361 beverage Nutrition 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
Definitions
- the present disclosure relates to a product moving device and a control method thereof.
- Patent Document 1 discloses a product replenishment system that replenishes products unmanned in order to save labor.
- This product replenishment system includes a photographing device that photographs the product to be replenished, and an articulated robot device that moves the product.
- the articulated robot device picks up a product to be replenished from a predetermined position and moves it to a display shelf.
- an error may generally occur between the position of the display shelf recognized by the system using image recognition technology or the like and the actual position of the display shelf. If the articulated robot device moves the item and places it at the destination position on the display shelf while such an error occurs, the item may be placed at a position that deviates from the original position on the display shelf. Items will be placed at. As shown in Patent Document 1, display shelves are sometimes provided with partition plates that partition display lanes, and when an article is placed in a position where it comes into contact with such a partition plate, the article I fall down.
- An object of the present disclosure is to provide a product moving device etc. that makes it possible to correct the destination position of the product when the destination position of the product is different from the intended position.
- a product moving device that moves a product placed on a stock shelf to a display shelf different from the stock shelf, which includes an arm portion including a gripping portion for grasping the product, and a product moving device that moves a product placed on a stock shelf to a display shelf different from the stock shelf. At least a portion of the product held by the grip and placed above the lane by the arm in order to place the product on one of a plurality of lanes for displaying products provided on the shelf board. and an imaging unit that acquires image data including at least a portion of display positions of shelf boards, and a control unit that controls operations of the gripping unit, the arm unit, and the imaging unit. be done.
- the control unit identifies, based on the image data, a positional relationship between a reference position of a lane in which products are placed on the shelf and products placed above the lane in the arrangement direction of the plurality of lanes; Based on the specified positional relationship, the arm section is operated to correct the position of the product relative to the reference position.
- a product moving device and the like that makes it possible to correct the destination position of the product when the destination position of the product is different from the intended position.
- FIG. 2 is a plan view schematically showing the arrangement of shelves in the store and a product moving device arranged in the store.
- Figure (a) is a diagram of the display shelf viewed from the front side
- Figure (b) is a diagram of the display shelf viewed from the rear side.
- FIG. 2 is a side view schematically showing the configuration of a product moving device.
- FIG. 3 is a perspective view showing the peripheral structure of the tip of the arm part of the product moving device.
- FIG. 2 is a block diagram showing the configuration of a product moving device. This is an image of the display shelf taken by the first camera (left side) of the product moving device.
- the second camera of the product moving device captures the image of the product held by the gripper and placed above the placement position on the shelf before it is placed on the shelf, and the product placed on the shelf.
- FIG. 1 is a plan view schematically showing the arrangement of shelves in a store and a product moving device arranged in the store.
- FIG. 2(a) is a diagram of the display shelf viewed from the front side
- FIG. 2(b) is a diagram of the display shelf viewed from the rear side.
- the inside of the store is divided into an in-store space SH1 and a backyard space SH2.
- the in-store space SH1 is a space where customers select and purchase products T.
- the backyard space SH2 is a space where the inventory of products T is stored.
- a display shelf 410, an inventory shelf 420, and a product moving device 1 are arranged in the store.
- the display shelf 410 has a plurality of shelf boards 411 (also referred to as display shelf tiers), as shown in FIGS. 2(a) and 2(b).
- a plurality of types of products T are arranged on the shelf board 411.
- products T of the same type are arranged in two or three rows.
- the products T may be arranged in only one row.
- a plurality of partition plates 412 are provided on the upper surface of each shelf board 411 to partition the products T in each row.
- FIG. 2 shows an example in which products T of the same type are arranged in two rows, and in this example, a partition plate 412 is provided for every two rows of products T.
- the arrangement of the partition plates 412 is not limited to this, and the partition plates 412 can be arranged at intervals of one row or two or more rows.
- the front side of the display shelf 410 faces the in-store space SH1, so that customers can take products T from the front side of the display shelf 410.
- the shelf board 411 is inclined so that the front side of the display shelf 410 is relatively lower than the rear side. As a result, when a customer picks up an item T, other items T lined up behind the item T slide on the shelf board 411 and move to the front side.
- the rear surface of the display shelf 410 faces the backyard space SH2, and a store clerk or the product moving device 1 replenishes the display shelf 410 with products T from the rear surface side of the display shelf 410.
- doors may be provided on the front and rear surfaces of the display shelf 410.
- the inventory shelf 420 is arranged to face the display shelf 410 in the backyard space SH2, and the front surface of the inventory shelf 420 and the rear surface of the display shelf 410 face each other.
- the inventory shelf 420 has a plurality of shelf boards (tiers) arranged in the height direction.
- products to be replenished which are products to be replenished on the display shelf 410, are arranged.
- the person who arranges the replenishment target products may be a store clerk or the product moving device 1.
- FIG. 3 is a side view schematically showing the configuration of the product moving device 1.
- FIG. 4 is a perspective view showing the structure around the tip of the arm portion of the product moving device 1.
- FIG. 5 is a block diagram showing the configuration of the product moving device 1. As shown in FIG.
- the product moving device 1 includes a gripping section 10, an arm section 20, a contact detection sensor 30, first cameras 50R and 50L, a second camera 60, a third camera 70, and a horizontal movement mechanism 80. , a lifting mechanism 90, and a control device 150.
- the product moving device 1 is a robot that moves in the space between the display shelf 410 and the inventory shelf 420.
- the product moving device 1 grips the product T in the inventory shelf 420 with the gripping section 10, and then moves the gripped product T to the display position of the product on the display shelf 410 (the lane where the product T is displayed). .
- the gripping section 10 has a pair of gripping members 11a and 11b for gripping an object.
- the pair of gripping members 11a and 11b have a shape that allows them to grip the vicinity of the cap member Tb of the product T, which is a plastic bottle beverage, and also to grip the outer periphery of the product T, which is a canned beverage.
- the gripping part 10 may have an adsorption structure for adsorbing and holding an object, or may utilize adhesive force, magnetic force, etc. It may also have a structure that holds the object.
- the arm portion 20 has a plurality of link members 21, 22, and 23.
- the plurality of link members 21, 22, and 23 constitute an articulated robot arm.
- an articulated robot arm has degrees of freedom in linear directions along the X-axis, Y-axis, and Z-axis, and has degrees of freedom around the X-axis, Y-axis, and Z-axis. It may be a 6-axis arm having degrees of freedom in directions.
- the articulated robot arm may also have any other mechanism such as a Cartesian coordinate robot arm, a polar coordinate robot arm, a cylindrical coordinate robot arm, or a SCARA robot arm.
- One end of the arm portion 20 is fixed to a lifting mechanism 90.
- a gripping portion 10 is provided at the tip of the arm portion 20 .
- the operation of arm section 20 is controlled by control device 150.
- the arm section 20 can move the grip section 10 toward the inventory shelf 420 side or toward the display shelf 410 side by moving the respective link members 21, 22, and 23.
- the orientation of the arm portion 20 is not fixed in a specific direction, for convenience of explanation, the direction in which each link member 21, 22, 23 is extended will be referred to as the extending direction Ax of the arm portion 20 (see FIG. 4).
- the arm section 20 moves the gripping section 10 forward toward the product T to grasp the product T.
- the extending direction Ax of the arm portion 20 corresponds to the forward direction of the gripping portion 10 in the gripping operation.
- the contact detection sensor 30 detects when the product T gripped by the gripper 10 is placed on the shelf board 411 of the display shelf 410, the product T gripped by the gripper 10, the gripper 10, or the arm 20 is placed on the shelf 411 of the display shelf 410.
- This is a sensor that detects when the vehicle comes into contact with an obstacle such as a wall or pillar.
- a torque sensor, an acceleration sensor, an inertial measurement unit (IMU), a motor input current sensor, etc. can be used as the contact detection sensor 30, for example, a torque sensor, an acceleration sensor, an inertial measurement unit (IMU), a motor input current sensor, etc. can be used.
- the torque sensor it is possible to use, for example, a strain gauge that detects the torque generated in the axis of each joint of the arm portion 20.
- a strain gauge that detects the torque generated in the axis of each joint of the arm portion 20.
- various types of acceleration sensors such as a capacitance type and a piezoresistive type installed on the grip part 10 or the arm part 20 can be used.
- An inertial measurement unit is a device that detects three-dimensional inertial motion (translational motion and rotational motion in three orthogonal axes directions), and includes an acceleration sensor that detects translational motion and an angular velocity (gyro) that detects rotational motion. and a sensor.
- an acceleration sensor that detects translational motion
- an angular velocity gyro
- the angle or angular change of the object can be acquired.
- the wrist portion of the gripping portion 10 may be There may be redundancies in the operation of the parts.
- the arm section 20 may be further operated while the product T is in contact with the shelf board 411. If a further force is applied to the gripper 10, it will cause some displacement in the wrist portion of the gripper 10, changing the attitude (ie, angle) of the gripper 10. Therefore, by detecting such an angular change that may occur in the grip part 10 during the operation of placing the product T on the shelf board 411 by using the IMU installed in the grip part 10, it is possible to prevent the product T from coming into contact with the shelf board 411. It is possible to detect what has happened.
- the product T held by the gripping part 10, the gripping part 10, or the arm part 20 can be moved to the wall of the display shelf 410 or It is possible to detect contact with obstacles such as pillars.
- the motor input current sensor can be configured, for example, by a control section 151 (see FIG. 5), which will be described later.
- the two first cameras 50R and 50L are arranged on the left and right sides of the arm section 20, respectively.
- the first camera 50L attached to the first side surface 23a on the left side of the arm section 20 is oriented in a first direction A1 along the direction perpendicular to the extending direction Ax of the arm section 20 ( (See Figure 4).
- the first camera 50L is mainly used to photograph the display shelf 410.
- the first camera 50R attached to the second side surface 23b which is a surface parallel to the first side surface 23a and is on the right side of the arm portion 20 opposite to the first side surface 23a, is mounted in the first direction. It is oriented in a second direction A2 opposite to A1.
- the first camera 50R is mainly used to photograph the inventory shelf 420. By arranging the first cameras 50R and 50L in opposite directions, the first cameras 50R and 50L can be used to open the display shelf 410 and the inventory shelf 420, respectively, while keeping the arm portion 20 in the same posture. can be photographed at the same time.
- the performances of the first cameras 50R and 50L may be the same or different, in order to simplify the explanation, an example in which both cameras have the same performance will be described below.
- the purpose and photographing conditions for photographing the display shelf 410 are different from the purpose and photographing conditions for photographing the inventory shelf 420, it is natural to use cameras with different performance according to the respective purposes and conditions. good.
- the first cameras 50R and 50L include, for example, an image sensor that generates a captured image in which pixels are arranged two-dimensionally (an example is an RGB image), and a depth sensor that is a distance detection device that generates distance data. It may be.
- the depth sensor is not limited to a specific method as long as it is capable of acquiring distance data to an object. For example, a stereo lens method or a LiDAR (Light Detection and Ranging) method can be used.
- the depth sensor may be one that generates a depth image, for example.
- either or both of the first cameras 50R and 50L may acquire distance data using, for example, an ultrasonic element.
- first camera 50L is oriented in the first direction A1, which means that the imaging direction of the image sensor and depth sensor of the first camera 50L is the direction A1.
- first camera 50R is oriented in the second direction A2 means that the imaging direction of the image sensor and the depth sensor of the first camera 50R is the direction A2.
- the orientation A1 and the orientation A2 do not necessarily have to be 180° opposite, but may be any orientation that allows the product display shelf 410 and the inventory shelf 420 to be imaged.
- first cameras 50R and 50L may be provided on the grip portion 10.
- the first cameras 50R and 50L do not necessarily need to be provided on the same member; for example, the first camera 50R may be attached to one of the link members 21 to 23, and the first camera 50L may be provided on the same member. It may be attached to other members among the link members 21 to 23.
- the coordinate system becomes common compared to when the cameras 50R and 50L are installed on separate link members, so image processing This has the advantage of simplifying the calculation.
- the second camera 60 photographs the state in which the gripping section 10 is gripping the product T and the relative positional relationship between the product T gripped by the gripping section 10 and the shelf board 411 of the display shelf 410. It is used for.
- the second camera 60 also includes, for example, an image sensor that generates a captured image in which pixels are arranged two-dimensionally (an RGB image), and a depth sensor that generates distance data. It may also include a sensor.
- the second camera 60 is installed at a position close to the grip part 10 under the link member 23 closest to the grip part 10 among the link members 21 to 23 of the arm 20, and has an image sensor and The imaging direction of the depth sensor is directed directly below the link member 23 and the grip portion 10 (-z direction in FIGS. 3 and 4) or toward the lower front (slightly more toward the +x direction than the -z direction in FIGS. 3 and 4). There is. Thereby, the second camera 60 can photograph at least the lower part of the product T held by the grip part 10 and the shelf board 411 located in front of the grip part 10.
- the third camera 70 is, for example, a camera that changes direction and photographs a predetermined object in response to an operation by an operator at a remote location.
- the third camera 70 is attached to a part of the elevating mechanism 90, as an example.
- the third camera 70 is capable of horizontal movement and vertical movement in the space between the display shelf 410 and the inventory shelf 420 as the horizontal movement mechanism 80 and the lifting mechanism 90 operate.
- the portion of the elevating mechanism 90 to which the third camera 70 is attached is rotatable around the support 95, and as that portion rotates, the third camera 70 moves in the left-right direction around the support 95. It is configured so that it can rotate and move to photograph display shelves 410 and inventory shelves 420 as needed.
- the third camera 70 may be of a stereo lens type, for example. Although not limited to this, the third camera 70 may have a wider angle of view than the first cameras 50R, 50L and the second camera 60.
- the horizontal movement mechanism 80 has a base plate 81 and a drive mechanism (not shown).
- the base plate 81 supports the lifting mechanism 90 and slides along a rail (not shown) installed between a display shelf 410 and an inventory shelf 420 in the store.
- the drive mechanism includes a motor, rollers, etc., and operates based on a control signal from the control device 150 (see FIG. 5) to move the elevating mechanism 90 to a predetermined position along the rail.
- the elevating mechanism 90 includes a column 95, a first elevating mechanism 91, and a second elevating mechanism 92.
- the support column 95 is fixed on the base plate 81 and extends in the vertical direction.
- the first elevating mechanism 91 has a drive mechanism (not shown).
- the drive mechanism (not shown) includes a motor, a linear guide, etc., and operates based on a control signal from the control device 150 (see FIG. 5). By operating a drive mechanism (not shown), the first elevating mechanism 91 moves up and down in the vertical direction along the column 95.
- the upper portion of the first elevating mechanism 91 to which the third camera 70 is attached is configured to be rotationally driven in the left-right direction about the support 95.
- the second lifting mechanism 92 is held by the first lifting mechanism 91.
- One end of the arm portion 20 is attached to the second elevating mechanism 92 .
- the second elevating mechanism 92 has a drive mechanism (not shown).
- the drive mechanism (not shown) includes a motor, a linear guide, etc., and operates based on a control signal from the control device 150 (see FIG. 5). By operating the drive mechanism (not shown), the second elevating mechanism 92 also moves up and down in the vertical direction.
- the elevating mechanism 90 uses the first elevating mechanism 91 to move the arm portion 20 and the gripping portion 10 to a height close to the height at which the product T can be gripped. Then, the heights of the arm portion 20 and the grip portion 10 are finely adjusted by the second elevating mechanism 92.
- a first elevating mechanism 91 and a second elevating mechanism 92 are provided as elevating mechanisms, but in other aspects of the present disclosure, a configuration in which only one elevating mechanism is provided is provided. You can also use it as
- control device 150 includes a control section 151, a storage section 160, an input section 191, an output section 193, and a communication section 195.
- control device 150 is depicted as a single element in FIG. 5, the control device 150 does not necessarily have to be physically one element, and may be composed of multiple physically separated elements. good.
- the input unit 191 is a device for receiving input from an operator.
- the input unit 191 may be configured with a device such as a keyboard, a mouse, a touch panel, or the like for inputting information to the computer.
- the input unit 191 may include an audio input device such as a microphone. Further, the input unit 191 may include a gesture input device that performs image recognition to identify the movement of the operator.
- the output unit 193 is for the product moving device 1 to output an alert to a store clerk or the like, and is configured, for example, by one or a combination of a speaker, a display, a light emitting device, and a vibration device.
- the communication unit 195 has a function of receiving data from the outside and a function of transmitting data to the outside.
- the communication unit 195 receives an input from the operator via the operation unit of an external device (not shown), and the control device 150 controls the product moving device based on the input. 1 to perform a predetermined action.
- communication between the operation unit of the external device and the communication unit 195 may be either wired communication or wireless communication.
- the operating section 191 may be a device worn by the operator.
- This device includes a display device (not shown) and an operation device (not shown).
- the display device may be, for example, a head-mounted display (HMD) that has a display that is visible to the operator.
- the operating device may, for example, include one or more input sensors capable of detecting movements of a body part (eg, hand or arm) of the operator.
- the storage unit 160 includes temporary or non-temporary storage media such as ROM (Read Only Memory), RAM (Random Access Memory), and HDD (Hard Disk Drive).
- the storage unit 160 stores computer programs executed by the control unit 151, learned models described below, and the like.
- the computer program stored in the storage unit 160 includes instructions for implementing a method for controlling the product moving device 1 by the control unit 151, which will be described later with reference to FIGS. 8, 9, and the like.
- the storage unit 160 includes an acquired data storage unit 160a and a reference data storage unit 160b.
- the acquired data storage unit 160a stores, for example, captured image data captured by each of the cameras 50R, 50L, 60, and 70.
- the reference data storage unit 160b stores various data necessary for the operation of the product moving device 1. These various data include, for example, data regarding the product display shelf 410 and the inventory shelf 420 (each shape data, position data, lane coordinate data, etc.), and data regarding the product T (shape data, position data, etc.).
- data regarding the distance between the center position of each lane on each shelf board 411 of the display shelf 410 and the left and right partition plates 412 is stored in the reference data storage unit 160b.
- the control unit 151 is composed of, for example, one or more CPUs (Central Processing Units).
- the control unit 151 functions as an operation control unit 152, an imaging control unit 153, and an image data processing unit 154 by executing a computer program stored in the storage unit 160.
- the operation control unit 152 generates control signals that operate the gripping unit 10, the arm unit 20, the horizontal movement mechanism 80, the elevating mechanism 90, and each part of the control device 150.
- the operation control unit 152 generates a control signal by referring to input signals from the operation unit 191 and various data stored in the storage unit 160.
- the control signal may be generated using the processing results in the image data processing section 155.
- the operation control unit 152 also transmits and receives data via the communication unit 195 and performs predetermined output via the output unit 193.
- the imaging control unit 153 controls the operation of each camera 50R, 50L, 60, and 70.
- the imaging timing of each camera 50R, 50L, 60, 70, etc. may be determined using, for example, data stored in advance in the reference data storage section 160b.
- the image data processing unit 155 performs various information processing using the captured image data and distance data (depth data) captured by the cameras 50R, 50L, 60, and 70. As an example, the image data processing unit 155 analyzes the image data taken by the first camera 50R to identify the products lined up on the inventory shelf 420.
- the image data processing section 155 includes a display availability determining section 155a, a grasping target specifying section 155b, a lane specifying section 155c, and a product position specifying section 155d.
- the display availability determining unit 155a determines, for example, a space where further products can be placed behind the last product T lined up on the display shelf 410, based on at least one of the captured image data and distance data captured by the first camera 50L. It is determined whether Sp (see FIG. 6) exists.
- FIG. 6 is an image of the display shelf 410 taken by the first camera 50L of the product moving device 1. If the space Sp exists, it means that the product T needs to be replenished. Therefore, when the space Sp exists, the display availability determining unit 155a sends a notification to the operation control unit 151 to the effect that the product T should be replenished on the shelf board 411 below the space Sp. When the operation control unit 151 receives this notification, it performs a replenishment operation for the product T.
- the grasping target specifying unit 155b determines whether or not there is a replenishment target product to be grasped on the inventory shelf 420, based on at least one of the captured image data and distance data captured by the first camera 50R, and the replenishment target product. At least one of identifying the size or shape of the product and determining the gripping position of the product to be replenished is performed. In the case of a product T having a cap member Tb as shown in FIG. 1, the gripping target specifying unit 155b sets the gripping position near the cap member Tb, for example. On the other hand, if the product T is a canned beverage or the like that does not have a cap member, the gripping target specifying unit 155b may set the side portion of the container as the gripping position.
- the lane identifying unit 155c analyzes the image of the rear surface of the display shelf 410 taken by the product moving device 1, and determines the coordinates of each lane on the shelf board 411 and the center position of each lane (the center position of each lane in the width direction). Identify.
- the lane specifying unit 155c may further specify the coordinates of the product T on the display shelf 410. Furthermore, the lane specifying unit 155c may add an image such as a dot to a position within the image corresponding to the specified coordinates.
- the product position specifying unit 155d detects the second camera 60 when the product T held by the gripping unit 10 is moved above the product placement position (lane for placement) on the shelf board 411 of the product display shelf 410. Analyzes the captured image data taken by and identifies the positional relationship between the reference position of the lane where products are placed on the shelf board 411 and the products placed above that lane in the arrangement direction of the plurality of lanes. .
- FIG. 7 is a diagram showing an example of a captured image taken when the product T gripped by the gripper 10 is moved above the product placement position on the shelf board 411 of the display shelf 410.
- the product position specifying unit 155d determines, for example, the bottom surface of the product T held by the gripping unit 10, based on the contour shape of the lower part of the product T appearing in the captured image.
- a product center line Tc that passes through the substantial center and extends in the extending direction of the grip portion 10 and the arm portion 20 (the x-axis direction shown in FIGS. 3 and 4) is generated on the captured image as the position of a predetermined portion of the product T. do.
- the product center line Tc is generated by, for example, identifying the most downwardly convex part of the outline of the lower part of the product T using an arbitrary image recognition technique, and passing through this part, which the product moving device 1 recognizes in advance. This can be done by generating a straight line extending in the x-axis direction in the coordinate system.
- the product position specifying unit 155d specifies the position of the partition plate 412 on the shelf board 411 appearing on the captured image as a reference position using any image recognition technique.
- the product position specifying unit 155d locates the space between the partition plate 412 on the shelf board 411 and the product center line Tc based on the product center line Tc generated as described above on the captured image and the identified partition plate 412.
- the distance D in the horizontal direction (the y-axis direction shown in FIGS. 3 and 4) is determined. If there are partition plates 412 on both sides of the product center line Tc in the captured image, the product position specifying unit 155d calculates the distance D to at least one of the left and right partition plates 412.
- the product position specifying unit 155d stores the distance D between the product center line Tc obtained as described above and the partition plate 412 of the lane to be displayed on the shelf board 411 in the reference data storage unit 160b. By comparing the distance between the center position of the lane and the partition plate 412, it can be determined by how much distance the product center line Tc is deviated from the center position of the lane in either the left or right direction. I can do it.
- the product position specifying unit 155d refers to the lane center position (sign Lc in FIG.
- the lane specifying unit 155c uses the lane center position Lc as a reference position to set the product center line Tc and the lane center position Lc. It may be configured to directly compare the product center line Tc and specify the distance in which direction the product center line Tc is deviated from the center position Lc of the lane to the left or right.
- the product center line Tc is specified and used as the position of the predetermined portion of the product T is illustrated above, this is the position of the product T that can also be used as the location of the predetermined portion of the product T in this embodiment. Not limited to. For example, the position of either side of the product T may be used as the position of the predetermined portion.
- the product position specifying unit 155d uses the depth data to detect the positions of the product T, the shelf board 411, and the partition plate 412. Good too.
- the operation control unit 152 places the product T at the correct product placement position on the shelf board 411 (on the lane between the partition plates 412) without touching the partition plate 412, as necessary. After correcting the position of the product T by moving the grip part 10 so as to release the product T, the grip part 10 is operated so as to release the product T.
- FIG. 8 is a flowchart showing the replenishment operation of the product T by the product moving device 1.
- step S11 the rear surface of the display shelf 410 is photographed by the first camera 50L installed on the arm section 20 of the product moving device 1.
- the product moving device 1 moves the arm portion 20, the horizontal moving mechanism 80, and the elevating mechanism 90 so that each stage of the display shelf 410 can be photographed with the first camera 50L.
- the product moving device 1 operates the first camera 50L to obtain an image of the rear surface of the display shelf 410 and obtain distance data to the products T lined up on the display shelf 410.
- step S12 a determination is made as to whether or not it can be displayed.
- the displayability determination unit 155a in the image data processing unit 155 of the product moving device 1 analyzes the captured image of the rear surface of the display shelf, and determines which product T should be displayed on which shelf board 411. This is a step of determining whether it is possible to replenish (in other words, which products T need to be replenished).
- the product moving device 1 acquires an image of the rear surface of the display shelf 410 as shown in FIG.
- the lane identifying unit 155c in the image data processing unit 155 of the product moving device 1 identifies the lane on the shelf board 411 of the product display shelf 410 based on the image data captured by the first camera 50L. Furthermore, since the image data processing unit 155 of the product moving device 1 can acquire distance data to the product T (depth data Dep visualized in FIG. 6), the product in lanes “7” and “8” It is possible to recognize that a space Sp exists behind the product T for products whose display number is decreasing, such as product T.
- the display availability determination unit 155a of the product moving device 1 determines whether there is a space Sp for the product T based on the distance data to the product T, and determines whether the product T can be further displayed in lanes “7” and “8”. judge. Through the process of step S12, it is determined which product T needs to be replenished on which shelf board 411 of the display shelf 410.
- the method for determining whether a product requires replenishment is not limited to the above method, and various methods can be used. For example, it is determined what percentage of occupancy the product T is placed in a predetermined three-dimensional space, and if that value is less than a predetermined reference value, it is determined that the product T needs to be replenished. It's okay.
- step S13 the inventory shelf 420 is photographed.
- the product moving device 1 operates the arm section 20, the horizontal moving mechanism 80, the elevating mechanism 90, and the first camera 50R to photograph the inventory shelf 420 from the front side.
- the product moving device 1 photographs the inventory shelves 420 one by one, and obtains captured images showing the inventory status of the products T.
- the inventory shelf 420 does not need to be photographed after the display shelf 410 is photographed, and the inventory shelf 420 may be photographed before the display shelf 410 is photographed.
- step S14 the image data processing unit 155 of the product moving device 1 analyzes the captured image of the inventory shelf 420 acquired in step S13, and identifies the products lined up on the inventory shelf 420. Furthermore, the grasping target specifying section 155b of the image data processing section 155 specifies the grasping position of the product.
- the product moving device 1 acquires information indicating where the replenishment target product is held.
- step S15 the product moving device 1 performs a product replenishment operation (pick and place operation) based on the acquired information.
- the operation control section 152 of the control section 151 (see FIG. 5) of the product moving device 1 operates the arm section 20, the horizontal movement mechanism 80, and the lifting mechanism 90, and moves the grip section 10 to a predetermined position on the inventory shelf 420. to the target product for replenishment.
- the gripping unit 10 grasps the pre-specified gripping position of the product to be replenished, and lifts the product to be replenished.
- the operation control section 152 operates the arm section 20, the horizontal movement mechanism 80, and the lifting mechanism 90 to move the gripped product T to a predetermined placement position on the display shelf 410, and remove the product T from the gripping section 10. By releasing it, the product T is placed in a predetermined position. Thereafter, the product moving device 1 repeats the same pick-and-place operation to complete the replenishment of the products T.
- step S15 the product replenishment operation (pick and place operation) in step S15 in this series of steps, the product T is placed on the product display shelf 410 with the bottom surface of the product T in contact with the top of the partition plate 412 of the shelf board 411. If the operation of placing the product on the shelf board 411 is performed, the product T may fall over or be tilted diagonally, which may hinder the display or replenishment of other products T.
- This embodiment provides means for preventing the product T from coming into contact with the partition plate 412 of the shelf board 411 during the product replenishment operation (pick-and-place operation).
- FIG. 9 is a flowchart for explaining a first operation example of the product moving device 1 of this embodiment.
- step S21 the operation control unit 152 of the control unit 151 (see FIG. 5) of the product moving device 1 operates the gripping unit 10, the arm unit 20, the horizontal movement mechanism 80, and the lifting mechanism 90, and The product T to be replenished is grasped by the grip part 10 and the product T is moved to above the placement position of the display shelf 410.
- This step S21 corresponds to the operation before releasing the product T from the gripping section 10 in step S15 described above.
- step S22 the imaging control unit 153 of the control unit 151 (see FIG. 5) of the product moving device 1 performs imaging using the second camera 60.
- the second camera 60 acquires a captured image and distance data including at least the lower part of the product T gripped by the gripper 10 and the shelf board 411 below the lower part.
- the acquired captured images and distance data are stored in the acquired data storage section 160a of the storage section 160.
- the captured image acquired by the second camera 60 includes at least the lower part of the product T held by the gripping unit 10, and a shelf board 411 and a partition plate 412 located below the product T. at least a portion of.
- step S23 the product position specifying unit 155d in the image data processing unit 155 of the product moving device 1 identifies the product T located above the placement position (lane) of the product T on the shelf board 411, and The positional relationship between the lane and the reference position of the lane is determined.
- a product center line passes through the center of the bottom surface of the product T held by the gripping part 10 and extends in the direction in which the gripping part 10 and the arm part 20 extend (the x-axis direction shown in FIGS. 3 and 4). Tc is generated on the captured image.
- the product center line Tc can be generated by, for example, identifying the most downwardly convex part of the outline of the lower part of the product T using any image recognition technology, and moving the product through that part. This can be done by generating a straight line extending in the x-axis direction in a coordinate system recognized in advance by the device 1.
- the product position specifying unit 155d further specifies the partition plate 412 on the shelf board 411 appearing on the captured image using an arbitrary image recognition technique.
- the product position specifying unit 155d determines the distance D in the horizontal direction (y-axis direction shown in FIGS. 3 and 4) between the partition plate 412 on the shelf board 411 and the product center line Tc. If there are partition plates 412 on both sides of the product center line Tc in the captured image, the product position specifying unit 155d calculates the distance D to at least one of the left and right partition plates 412.
- the distance between the center of each lane on the shelf board 411 and the left and right partition plates 412 is stored in advance in the reference data storage unit 160b and is known in the system of the product moving device 1. Therefore, the product position specifying unit 155d stores the distance D between the product center line Tc obtained as described above and the partition plate 412 of the lane to be displayed on the shelf board 411 in the reference data storage unit 160b. By comparing the distance between the center position of the lane and the partition plate 412, it can be determined by how much distance the product center line Tc is deviated from the center position of the lane in either the left or right direction. I can do it.
- the center of the product T is the center of the lane. If it is specified that the product T is deviated from the position by 10 mm in the direction approaching the partition plate 412, or if the calculated distance D is 35 mm, the center of the product T is shifted in the direction away from the partition plate 412 from the center position of the lane. It is determined that there is a deviation of 5 mm.
- step S24 the operation control section 152 of the product moving device 1 operates the gripping section 10, the arm section 20, etc. in order to correct the positional deviation of the product T with respect to the center position of the lane.
- the operation control unit 152 determines whether the center of the product T held by the gripping unit 10 is at the lane center position based on the positional relationship between the lane center position specified by the product position specifying unit 155d in step S23 and the center of the product T.
- the grip section 10, arm section 20, etc. are operated to move the product T in the left-right direction (direction along the y-axis in FIGS. 3 and 4) until it is located at .
- the product T is moved 20 mm in the direction away from the partition plate 412, or Alternatively, if it is determined that the product T is deviated from the center position of the lane by 15 mm in the direction away from the partition plate 412, the product T is moved 15 mm in the direction closer to the partition plate 412. As a result, the product T is placed above a position where its center substantially coincides with the center position of the lane.
- the operation control unit 152 of the product moving device 1 performs the operation of releasing the product T from the gripping portion 10, which is the final operation of step S15 described above, and moves the product T to a predetermined position on the shelf board 411. Place it in the desired location (the lane where it will be displayed). Generally, the width of each lane on the shelf board 411 is set larger than the width of the product T to be displayed. Since some gap space is secured between the and the partition plate 412, even if the product T is placed on the corresponding lane of the shelf board 411 at that position, the bottom of the product T will not touch the partition plate 412. There will be no contact.
- step S15 Even if the product T moved above the display position of the shelf board 411 in step S15 is deviated from the predetermined position, after performing the correction operation of the placement position of the product T in step S24, By performing the action of releasing the product T from the gripping section 10 that is performed at the end of step S15, the product T can be placed on the shelf board 411 without causing the product T to come into contact with the partition plate 412 and fall. (on the lane to be placed).
- step S24 if the product T moved above the placement position of the shelf board 411 in step S15 is deviated from the predetermined position, the correction operation of the placement position of the product T is not performed in step S24. Although described above, this correction operation may be omitted depending on the amount of deviation from the predetermined position.
- the width of each lane on the shelf board 411 is generally set larger than the width of the product T to be displayed. Therefore, if the amount of deviation of the product T from the predetermined position is smaller than the predetermined distance, even if the product T is released from the grip part 10 and placed on the shelf board 411 in that state, the product T will not be placed on the partition plate 411.
- the amount of deviation that allows the correction operation to be omitted can be set in advance in the operation control unit 152 of the product moving device 1, such as 3 mm or 5 mm, for example. If the deviation amount specified by the product position specifying unit 155d is within the above set distance, the operation control unit 152 performs an operation of releasing the product T from the gripping unit 10 without performing a position correction operation of the product T. You may.
- step S24 when operating the gripping part 10, the arm part 20, etc. to correct the positional deviation of the product T with respect to the center position of the lane, depending on the case, the product T, the gripping part 10, or the arm part 20 may be moved to the display shelf 410.
- a situation may arise in which the grip part 10, arm part 20, etc. cannot be moved any further due to contact with a wall, support, or the like. In such a situation, if you try to move the gripping part 10, arm part 20, etc. further to correct the position of the product T, the product T, the gripping part 10, or the arm part 20 may be damaged, or the wall of the display shelf 410 or the There is a risk of damage to the pillars, etc.
- the operation control unit 152 controls the grip part 10, the arm part 20, etc. to correct the position of the product T.
- the operation of releasing the product T from the gripping section 10 is performed.
- the product moving device 1 may send a notification from the communication unit 195 to an external device (not shown) used by the operator indicating that the position correction operation is not possible.
- an external device not shown
- the operator of the device remotely controls the product moving device 1 using an external device, acquires image data from the second camera 60, confirms the position of the product T, and corrects the position as necessary. Therefore, it is possible to take measures such as remotely controlling the grip section 10, arm section 20, etc.
- step S23 the case where the partition plate 412 on the shelf board 411 is used as the reference position for specifying the product position has been described, but in this embodiment, the partition can be used as the reference position for specifying the product position.
- the position of the plate 412 is not limited to this.
- the product position specifying unit 155d uses the center position Lc of each lane specified by the lane specifying unit 155c of the image data processing unit 155 as the reference position for specifying the product position, and the center line Tc of the product T specified as described above.
- the distance from the center position Lc of the lane on which the product T is placed may be determined as the amount of positional deviation.
- the operation control unit 152 performs a position correction operation for the product T so as to correct the distance (positional deviation amount) obtained in this way.
- the product position specifying unit 155d of the product moving device 1 identifies the product T held by the gripping unit 10 and the product T based on the image data captured by the second camera 60.
- the positional relationship with the placement position in the lane on the shelf board 411 to be placed is specified, and based on the identification result, the operation control section 152 of the product moving device 1 operates the gripping section 10, the arm section 20, etc.
- the product position specifying unit 155d of the product moving device 1 uses a learned model generated by learning by machine learning to identify the product T held by the gripping unit 10 and the product.
- a means is provided for specifying the positional relationship with the placement position in the lane on the shelf board 411 where the T is to be placed.
- the trained model used to specify the positional relationship between the product T and the placement position on the shelf board 411 where the product T should be placed is when the gripping unit 10 places the product T on the shelf board 411.
- the product T is photographed by the second camera 60 as described above while the product T is placed above the placement position by the grip unit 10 and the arm unit 20.
- Various image data and/or depth data including the product T and the shelf board 411, and annotation information regarding the positional relationship between the product T and the placement position on the shelf board 411 associated with each data are used as teacher data.
- image data and/or depth data including the product T gripped by the gripper 10 and the shelf board 411 can be generated by machine learning using an arbitrary learning device configured with a computer, using the image data and/or depth data as learning data.
- Such a trained model can be generated, for example, by performing machine learning on a neural network composed of multiple layers, each layer including a neuron.
- a neural network such as a convolutional neural network (CNN) having 20 or more layers may be used. Machine learning using such deep neural networks is called deep learning.
- the trained model generated in this way is stored in the storage unit 160 of the product moving device 1 and implemented as a functional module of the product position specifying unit 155d of the product moving device 1.
- FIG. 10 shows a photograph taken by the second camera 60 of the product moving device 1 of the product being held by the gripping unit 10 and placed above the placement position before being placed on the shelf board 411.
- 4 is a conceptual diagram showing examples of various positional relationships between products T and placement positions on a shelf board 411.
- FIG. 10 the outline of the peripheral surface of the bottom of the product T and the partition plate 412 forming the placement position (lane) on the shelf board 411 are schematically drawn in a state projected from above.
- the center line Tc of the product T is shifted 15 mm to the left (y-axis direction) in the figure with respect to the center position Lc of the lane, which is the placement position on the shelf board 411.
- the image data in the state shown in FIG. 10(a) is associated with "misalignment direction: y-axis direction, deviation amount: 15 mm, left side contact" as annotation information regarding the positional relationship of the product T with respect to the placement position on the shelf board 411. and used as training data.
- the center line Tc of the product T is shifted 5 mm to the left (y-axis direction) in the figure with respect to the center position Lc of the lane, which is the placement position on the shelf board 411.
- the image data in the state shown in 10(b) is associated with "misalignment direction: y-axis direction, deviation amount: 5 mm, no contact" as annotation information regarding the positional relationship of the product T with respect to the placement position on the shelf board 411. is used as training data.
- the center line Tc of the product T is shifted by 10 mm to the right in the figure (in the -y axis direction) with respect to the center position Lc of the lane, which is the placement position on the shelf board 411.
- 10(c) includes annotation information regarding the positional relationship of the product T with respect to the placement position on the shelf board 411, such as "misalignment direction: -y axis direction, deviation amount: 10 mm, right side contact. " is associated with the teacher data.
- the training data includes a plurality of image data and/or depth data indicating various positional relationships between the product T placed above the placement position and the placement position on the shelf board 411, and each image data. It is composed of annotation information regarding the positional relationship between the associated placement position on the shelf board 411 and the product T.
- the product position specifying unit 155d of the product moving device 1 in which the above-described learned model is implemented as a functional module uses the second camera 60 to capture images in place of the process in step S23 described in the first operation example.
- the learned model is used to calculate the product T placed above the placement position on the shelf board 411 and the placement position on the shelf board 411 using the learned model. Identify the positional relationship.
- the above-mentioned positional relationship is specified using a trained model, so when the above-mentioned positional relationship is specified from image data etc. by executing processing using image recognition technology as in the first operation example, In comparison, processing speed can be increased while reducing calculation cost.
- the operation control unit 152 of the product moving device 1 in this example also controls the positional relationship between the lane center position Lc identified as described above and the center line Tc of the product T, as in step S24 described in the first operation example. Based on this, the gripping section 10, arm section 20, etc. are operated so as to correct the positional deviation of the center of the product T with respect to the center position Lc of the lane, and the center of the product T held by the gripping section 10 is located at the center of the lane. The product T is moved in the left-right direction (direction along the y-axis in FIGS. 3 and 4) until it is located at the desired position. Then, the operation control unit 152 of the product moving device 1 performs an operation of releasing the product T from the gripping unit 10, and places the product T at a predetermined position on the shelf board 411 (the lane to be displayed).
- the product position specifying unit 155d of the product moving device 1 locates the shelf according to the magnitude of the probability value generated as a result of processing using the learned model described above.
- the product T may be configured to specify the positional relationship between the product T placed above the placement position and the placement position on the shelf board 411 before being placed on the placement position on the board 411. .
- the product position specifying unit 155d uses the above-mentioned learned model to place the image data above the placement position on the shelf board 411.
- the position of the product T placed in is (1) the center area of the lane at the loading position (no contact with the partition plate 412), (2) contact with the partition plate 412 on the left side of the screen of the lane, (3) the area of the lane.
- the occurrence probability values for the three states of contact with the partition plate 412 on the right side of the screen are determined.
- the product position specifying unit 155d adopts the state with the largest occurrence probability value among the acquired occurrence probability values regarding the three states as the position of the product T in the image data to be processed.
- the operation control unit 152 of the product moving device 1 corrects the positional deviation of the center of the product T with respect to the center position Lc of the lane according to the content of the position correction operation associated in advance with each state of the position of the product T and its occurrence probability value. , the gripping section 10, arm section 20, etc. are operated, and the product T is moved in the left-right direction (along the y-axis in FIGS. direction). Then, the operation control unit 152 of the product moving device 1 performs an operation of releasing the product T from the gripping unit 10, and places the product T at a predetermined position on the shelf board 411 (the lane to be displayed).
- Table 1 below shows an example of a look-up table that associates each state of the position of the product T, its occurrence probability value, and the content of the position correction operation. This lookup table is stored in advance in the storage unit 160 of the product moving device 1.
- the state with the largest occurrence probability value among the three states is "(1) central region", and the occurrence probability value is 0.9 to 1.0, 0.8 ⁇ less than 0.9, 0.7 to less than 0.8, and 0.6 to less than 0.7, the product T is approximately in the center of the predetermined position on the shelf board 411 (the lane to be displayed). Since there is a probability of 60% or more that the product T is not in contact with either of the left and right partition plates 412, the position correction operation content is set as "no position correction".
- the operation control unit 152 does not perform an operation to correct the position of the product T, but performs an operation to release the product T from the gripping unit 10 at that position, and moves the product T to a predetermined position on the shelf board 411. Place it in the desired location (the lane where it will be displayed).
- the movement distance for position correction of product T is the occurrence probability value. It will be set accordingly. If the probability of occurrence is 0.9 to 1.0, which is the highest, there is a high possibility that product T is placed above the partition plate on the left side of the lane, so the distance traveled to the center of the lane is is set to a relatively large distance of 15 mm to the right.
- the probability of occurrence decreases from 0.8 to less than 0.9, from 0.7 to less than 0.8, and from 0.6 to less than 0.7
- the product T In other words, the probability that product T is placed at the center of the lane is lower, so the movement distance to the center of the lane associated with these occurrence probability values is 10 mm, 5 mm, and 3 mm.
- the values are set sequentially smaller as follows. If the state with the largest occurrence probability value among the three states is "(3) Contact with the partition plate on the right side of the lane", it is set in the same way as this, but the movement direction for correcting the position of product T is this. The opposite direction is "toward the left.”
- the communication unit 195 of the product moving device 1 notifies an external device (not shown) used by the operator that the location cannot be specified.
- the operator of the device remotely controls the product moving device 1 using an external device, acquires image data from the second camera 60, confirms the position of the product T, and corrects the position as necessary. Therefore, it is possible to take measures such as remotely controlling the grip section 10, arm section 20, etc.
- the product moving device 1 may send a notification from the communication unit 195 to an external device (not shown) used by the operator indicating that the location cannot be determined.
- the product position specifying unit 155d The state with the largest value may be adopted as the position state of the product T. Even if the occurrence probability values are all 0.6 or higher, as in the former case, the criteria for issuing a notification indicating that the location cannot be determined (for example, the occurrence probability values for the three states must be within a 10% error from each other).
- the standard when adopting the state with the largest value as the position state of the product T (for example, when the state with the largest value is less than 0.6 (e.g., a large occurrence probability value is 10 times or more of other occurrence probability values) can be set as appropriate.
- Each range of the occurrence probability value, the position correction operation associated therewith, and the movement distance thereof are not limited to the examples listed in Table 1, and can be set as appropriate depending on the implementation details.
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
Abstract
本開示の一実施形態によれば、商品を把持する把持部10を備えたアーム部20と、陳列棚の棚板の上に設けられた商品を陳列する複数のレーンのうちの1つのレーンに商品を載置するために把持部10に把持されてアーム部20によってレーンの上方に配置された商品の少なくとも一部と、棚板の陳列位置を含む少なくとも一部とを含む画像データを取得する撮像部60と、制御部150とを備えた商品移動装置1が提供される。制御部は150は、画像データに基づいて、棚板の商品を載置するレーンの基準位置と、レーンの上方に配置された商品との複数のレーンの配列方向における位置関係を特定することと、特定された位置関係に基づいて、アーム部20を動作させて基準位置に対する商品の位置を補正することと、を実行するように構成されている。
Description
本開示は、商品移動装置及びその制御方法に関する。
特許文献1には、業務の省力化のため商品の補充を無人で行う商品補充システムが開示されている。この商品補充システムは、補充対象の商品を撮影する撮影装置と、商品を移動させる多関節ロボット装置とを有している。多関節ロボット装置は、補充対象の商品を予め配置されている所定の位置からピックアップして陳列棚へと移動させる。
特許文献1のようなシステムでは、一般に、システムが画像認識技術等によって認識する陳列棚の位置と、現実の陳列棚の位置との間に誤差が生じることがある。そのような誤差が生じている状態で多関節ロボット装置が物品を移動させて陳列棚上の移動先の位置に載置する動作を実行すると、本来置かれるべき陳列棚上の位置からずれた位置に物品が置かれることとなる。特許文献1にも示されているように、陳列棚には陳列レーンを仕切る仕切り板が設けられていることがあり、物品がそのような仕切り板に接触する位置に載置されると物品が転倒してしまう。
本開示の目的は、商品の移動先の位置が意図した位置と異なる場合に、商品の移動先の位置を補正することを可能にする商品移動装置等を提供することにある。
本開示の一態様によれば、在庫棚に載置された商品を在庫棚と異なる陳列棚に移動する商品移動装置であって、商品を把持する把持部を備えたアーム部と、陳列棚の棚板の上に設けられた商品を陳列する複数のレーンのうちの1つのレーンに商品を載置するために把持部に把持されてアーム部によってレーンの上方に配置された商品の少なくとも一部と、棚板の陳列位置を含む少なくとも一部とを含む画像データを取得する撮像部と、記把持部、アーム部及び撮像部の動作を制御する制御部と、を備えた商品移動装置が提供される。制御部は、画像データに基づいて、棚板の商品を載置するレーンの基準位置と、レーンの上方に配置された商品との、複数のレーンの配列方向における位置関係を特定することと、特定された位置関係に基づいて、アーム部を動作させて基準位置に対する商品の位置を補正することと、を実行するように構成されている。
本開示の他の特徴事項および利点は、例示的且つ非網羅的に与えられている以下の説明及び添付図面から理解することができる。
本開示によれば、商品の移動先の位置が意図した位置と異なる場合に、商品の移動先の位置を補正することを可能にする商品移動装置等が提供される。
以下、本開示の実施の形態について図面を参照して説明する。
<店舗の配置構成>
最初に、店舗の配置構成について説明する。図1は、店舗内の棚の配置および店舗内に配置された商品移動装置を模式的に示す平面図である。図2(a)は陳列棚を前面側から見た図であり、同図(b)は陳列棚を後面側から見た図である。
最初に、店舗の配置構成について説明する。図1は、店舗内の棚の配置および店舗内に配置された商品移動装置を模式的に示す平面図である。図2(a)は陳列棚を前面側から見た図であり、同図(b)は陳列棚を後面側から見た図である。
図1に示すように、店舗内は、店内スペースSH1とバックヤードスペースSH2とに分けられている。店内スペースSH1は、客が商品Tの選択および購入を行うスペースである。バックヤードスペースSH2は、商品Tの在庫が保管されるスペースである。店舗内には、陳列棚410と、在庫棚420と、商品移動装置1とが配置されている。
陳列棚410は、図2(a)及び(b)に示すように、複数の棚板411(陳列棚の段ともいう)を有している。棚板411の上には複数の種類の商品Tが配置される。例えば、同じ種類の商品Tが2列または3列に並べられる。商品Tは、1列のみで並べられていてもよい。各棚板411の上面には、各列の商品Tを仕切る複数の仕切り板412が設けられている。図2では同じ種類の商品Tが2列に並べられる例が図示されており、この例においては商品Tの2列毎に仕切り板412が設けられている。仕切り板412の配置はこれに限られず、仕切り板412は1列又は2以上の列の間隔で配置することが可能である。
陳列棚410の前面は店内スペースSH1に面しており、客が商品Tを陳列棚410の前面側から取ることができるようになっている。棚板411は、陳列棚410の前面側が後面側よりも相対的に低くなるように傾斜している。これにより、客が商品Tを取ると、その商品Tの後ろに並べられていた他の商品Tが棚板411上を滑って前面側に移動する。
陳列棚410の後面はバックヤードスペースSH2に面しており、店員または商品移動装置1が、商品Tを陳列棚410の後面側から陳列棚410に補充する。図示は省略するが、陳列棚410の前面および後面にはドアが設けられていてもよい。図1では図示の簡略化のために陳列棚410が1つのみ描かれているが、店舗内には複数の陳列棚410が配置されていてもよい。
在庫棚420は、バックヤードスペースSH2内において、陳列棚410に向かい合うように配置されており、在庫棚420の前面と陳列棚410の後面とは互いに対向している。在庫棚420は、陳列棚410と同様に、高さ方向に配置された複数の棚板(段)を有している。在庫棚420の棚板には、陳列棚410に補充すべき商品である補充対象商品が並べられる。補充対象商品を並べるのは、店員であってもよいし、商品移動装置1であってもよい。
<商品移動装置1の構成>
<商品移動装置1の構成>
商品移動装置1について、図1、図3~図5を参照して以下に説明する。図3は、商品移動装置1の構成を模式的に示す側面図である。図4は、商品移動装置1のアーム部先端の周辺構造を示す斜視図である。図5は、商品移動装置1の構成を示すブロック図である。
商品移動装置1は、把持部10と、アーム部20と、接触検知センサ30と、第1のカメラ50R,50Lと、第2のカメラ60と、第3のカメラ70と、水平移動機構80と、昇降機構90と、制御装置150とを有する。商品移動装置1は、陳列棚410と在庫棚420との間のスペースを移動するロボットである。商品移動装置1は、在庫棚420内の商品Tを把持部10で把持し、その後、把持した商品Tを陳列棚410のその商品の陳列位置(その商品Tを陳列するレーン)へと移動させる。
把持部10は、図4に示すように、対象物を把持するための一対の把持部材11a,11bを有している。一対の把持部材11a,11bは、ペットボトル飲料である商品Tのキャップ部材Tbの付近を把持可能であるとともに、缶飲料である商品Tの外周部を把持可能な形状を有している。把持部10は、一対の把持部材11a,11bで構成されるもの以外にも、対象物を吸着して保持するための吸着構造を有するものであってもよいし、粘着力や磁力等を利用して対象物を保持する構造を有するものであってもよい。
アーム部20は、複数のリンク部材21,22,23を有している。複数のリンク部材21,22,23は、多関節ロボットアームを構成する。多関節ロボットアームは、一例として、X軸方向、Y軸方向、およびZ軸方向のそれぞれに沿う直線方向に自由度を持ち、かつ、X軸周り、Y軸周り、およびZ軸周りのそれぞれの方向に自由度を持つ6軸のアームであってもよい。多関節ロボットアームは、他にも、直交座標系ロボットアーム、極座標系ロボットアーム、円筒座標系ロボットアーム、スカラ型ロボットアームなど任意の機構を有してもよい。アーム部20の一端部は昇降機構90に固定されている。アーム部20の先端部には把持部10が設けられている。アーム部20の動作は、制御装置150によって制御される。
アーム部20は、それぞれのリンク部材21,22,23を動かすことにより把持部10を在庫棚420側に移動させたり、陳列棚410側に移動させたりすることができる。アーム部20の向きは特定の方向に固定されてはないが、説明の都合上、各リンク部材21,22,23を伸ばした方向をアーム部20の延在方向Axという(図4参照)。アーム部20は、把持部10を商品Tに向けて前進させて商品Tの把持を行う。アーム部20の延在方向Axは、把持動作における把持部10の前進方向に相当する。
接触検知センサ30は、把持部10が把持した商品Tを陳列棚410の棚板411上に載置する際に、把持部10が把持した商品T、把持部10若しくはアーム部20が陳列棚410の壁や支柱等の障害物に接触したことを検知するセンサである。接触検知センサ30には、例えば、トルクセンサ、加速度センサ、慣性計測装置(IMU:Inertial Measurement Unit)、モータ入力電流センサ等を用いることができる。
トルクセンサとしては、例えば、アーム部20の各関節の軸に発生するトルクを検出するひずみゲージを用いることが可能である。加速度センサとしては、把持部10若しくはアーム部20に設置される静電容量型やピエゾ抵抗型等の種々のタイプの加速度センサを用いることができる。
慣性計測装置(IMU)は、3次元の慣性運動(直行3軸方向の並進運動および回転運動)を検出する装置であり、並進運動を検出する加速度センサと、回転運動を検出する角速度(ジャイロ)センサとを備える。このうち、ジャイロセンサで角速度を検出することにより、対象物の角度ないし角度変化を取得することができる。例えば、把持部10の手首部分の駆動伝達手段としてギアあるいはギア及び歯付きベルトが用いられている場合には、ギア同士の遊びや歯付きベルトの伸び等に起因して、把持部10の手首部分の動作には冗長性が生じ得る。そのため、例えば、把持部10が把持した商品Tを陳列棚410の棚板411上に載置する動作中に、商品Tを棚板411上に接触させた状態でアーム部20をさらに動作させて把持部10にさらに力が加えられると、それによって把持部10の手首部分にいくらかの変位が生じ、把持部10の姿勢(すなわち角度)が変化する。したがって、商品Tを棚板411上に載置する動作中に把持部10に生じ得るこのような角度変化を、把持部10に設置したIMUによって検出することで、商品Tが棚板411に接触したことを検知することができる。
アーム部20の各関節を駆動するためにサーボモータ等が用いられる場合、把持姿勢を維持する角度から角度偏差を生じさせる外力が生じたときに、元の角度を維持するために角度偏差をゼロにするように動作する。把持部10が把持した商品T、把持部10若しくはアーム部20が陳列棚410の壁や支柱等の障害物に接触した状態でアーム部20をさらに移動させる際には、その負荷に抗してサーボモータを駆動させようとする電流がサーボモータに入力される。したがって、そのような動作のためにサーボモータに入力される電流をモータ入力電流センサで検出することで、把持部10が把持した商品T、把持部10若しくはアーム部20が陳列棚410の壁や支柱等の障害物に接触していることを検知できる。モータ入力電流センサは、例えば、後述する制御部151(図5参照)で構成することができる。
2つの第1のカメラ50R,50Lは、それぞれ、アーム部20の左右両側に配置されている。アーム部20の左側である第1の側面23aに取り付けられている第1のカメラ50Lは、アーム部20の延在方向Axに直交する方向に沿った第1の向きA1に向けられている(図4参照)。第1のカメラ50Lは、主に陳列棚410を撮影するために用いられる。第1の側面23aと平行な面であって第1の側面23aとは反対側のアーム部20の右側である第2の側面23bに取り付けられている第1のカメラ50Rは、第1の向きA1とは反対向きの第2の向きA2に向けられている。第1のカメラ50Rは、主に在庫棚420を撮影するために用いられる。このように第1のカメラ50R,50Lが互いに反対向きに配置されていることにより、アーム部20を同じ姿勢に保ったまま、第1のカメラ50R,50Lで、それぞれ陳列棚410及び在庫棚420を同時に撮影することができる。
第1のカメラ50R,50Lの性能は、同じであってもよいし異なっていてもよいが、以下では、説明を簡単にするため、両カメラが同じ性能である例について説明する。もっとも、陳列棚410を撮影する目的や撮影条件と、在庫棚420を撮影する目的や撮影条件は異なるため、当然ながら、それぞれの目的や条件に合わせて性能の異なるカメラを利用するようにしてもよい。
第1のカメラ50R,50Lは、例えば、画素が二次元的に並んだ撮像画像(一例でRGB画像)を生成する撮像素子と、距離データを生成する距離検出デバイスである深度センサとを有するものであってもよい。深度センサは、対象物までの距離データを取得することができるものであれば特定の方式に限定されるものではない。例えば、ステレオレンズ方式や、LiDAR (Light Detection and Ranging)方式を利用可能である。深度センサは例えばDepth画像を生成するものであってもよい。本開示の他の態様において、第1のカメラ50R,50Lのいずれかまたは両方は例えば超音波素子を利用して距離データを取得するものであってもよい。
なお、第1のカメラ50Lは第1の向きA1に向けられているが、これは、第1のカメラ50Lの撮像素子および深度センサの撮像方向が向きA1であることを意味する。同様に、第1のカメラ50Rが第2の向きA2に向けられているとは、第1のカメラ50Rの撮像素子および深度センサの撮像方向が向きA2であることを意味する。向きA1と向きA2は必ずしも180°反対向きである必要はなく、商品陳列棚410と在庫棚420とを撮像可能な向きであればよい。
第1のカメラ50R,50Lの一方または両方が、把持部10に設けられていてもよい。第1のカメラ50R,50Lは必ずしも同一の部材に設けられている必要はなく、例えば、第1のカメラ50Rがリンク部材21~23のうちの1つの部材に取り付けられ、第1のカメラ50Lがリンク部材21~23のうちの他の部材に取り付けられていてもよい。ただし、第1のカメラ50R,50Lが同一の部材に設けられている場合、各カメラ50R,50Lがそれぞれ別々のリンク部材に設けられている場合と比較して座標系が共通化するので画像処理の演算が簡単になるという利点がある。
第2のカメラ60は、把持部10が商品Tを把持している状態、及び、把持部10が把持した商品Tと陳列棚410の棚板411との相対的な位置関係を撮影すること等に用いられるものである。第2のカメラ60も上記の第1のカメラ50R,50Lと同様に、例えば、画素が二次元的に並んだ撮像画像(一例でRGB画像)を生成する撮像素子と、距離データを生成する深度センサとを有するものであってもよい。
第2のカメラ60は、一例として、アーム20のリンク部材21~23のうち把持部10に一番近いリンク部材23の下側の、把持部10に近接した位置に設置され、その撮像素子および深度センサの撮像方向がリンク部材23及び把持部10の真下(図3,4の-z方向)若しくは下側前方(図3,4の-z方向よりも幾らか+x方向側)に向けられている。これにより、第2のカメラ60は、把持部10で把持した商品Tの少なくとも下側部分及び把持部10の前方に位置する棚板411を撮影可能である。
第3のカメラ70は、例えば遠隔地の操作者による操作に応じて向きを変えて所定の対象物を撮影するカメラである。第3のカメラ70は、一例として、昇降機構90の一部に取り付けられる。第3のカメラ70は、陳列棚410と在庫棚420の間のスペースにおいて、水平移動機構80及び昇降機構90の動作に伴って、水平移動及び昇降移動が可能である。また、昇降機構90の第3のカメラ70が取り付けられている部分は支柱95を中心に回転可能であり、第3のカメラ70はその部分の回転に伴って、支柱95を中心に左右方向に回転移動して、必要に応じて陳列棚410を撮影したり、在庫棚420を撮影したりできるように構成されている。
第3のカメラ70は、例えばステレオレンズ方式のものであってもよい。限定されるものではないが、第3のカメラ70は、第1のカメラ50R,50Lや第2のカメラ60よりも広い画角を有するものであってもよい。
水平移動機構80は、ベースプレート81と、駆動機構(不図示)とを有する。ベースプレート81は、昇降機構90を支持するとともに、店舗内の陳列棚410と在庫棚420との間に敷設されたレール(不図示)に沿ってスライド移動する。駆動機構(不図示)は、モータやローラ等を含んでおり、制御装置150(図5参照)からの制御信号に基づいて動作し、昇降機構90をレールに沿った所定の位置に移動させる。
昇降機構90は、支柱95と、第1の昇降機構91と、第2の昇降機構92とを有する。支柱95は、ベースプレート81上に固定され鉛直方向に延びている。
第1の昇降機構91は駆動機構(不図示)を有する。駆動機構(不図示)は、モータやリニアガイド等を含んでおり、制御装置150(図5参照)からの制御信号に基づいて動作する。駆動機構(不図示)を動作させることにより、第1の昇降機構91が支柱95に沿って鉛直方向に上下移動する。第3のカメラ70が取り付けられている第1の昇降機構91の上側部分は、支柱95を中心として左右方向に回転駆動されるように構成されている。
第2の昇降機構92は、第1の昇降機構91によって保持されている。第2の昇降機構92には、アーム部20の一端部が取り付けられている。第2の昇降機構92は駆動機構(不図示)を有する。駆動機構(不図示)は、モータやリニアガイド等を含んでおり、制御装置150(図5参照)からの制御信号に基づいて動作する。駆動機構(不図示)を動作させることにより、第2の昇降機構92も鉛直方向に上下移動する。
所定の高さに存在している商品Tを把持する場合に、昇降機構90は、第1の昇降機構91によって、アーム部20および把持部10をその商品Tが把持可能な高さ付近まで移動させ、第2の昇降機構92によってアーム部20および把持部10の高さを微調整する。
なお、本実施形態では、昇降機構として第1の昇降機構91と第2の昇降機構92とが設けられているが、本開示の他の態様においては、1つの昇降機構のみが設けられた構成としてもよい。
<制御装置150の構成>
図5に示すように、制御装置150は、制御部151と、記憶部160と、入力部191と、出力部193と、通信部195とを有している。図5では、制御装置150は単一の要素として描かれているが、制御装置150は必ずしも物理的に1つの要素である必要はなく、物理的に分離した複数の要素で構成されていてもよい。
図5に示すように、制御装置150は、制御部151と、記憶部160と、入力部191と、出力部193と、通信部195とを有している。図5では、制御装置150は単一の要素として描かれているが、制御装置150は必ずしも物理的に1つの要素である必要はなく、物理的に分離した複数の要素で構成されていてもよい。
入力部191は、操作者からの入力を受け付けるための装置である。入力部191は、キーボード、マウス、タッチパネル等のコンピュータに対して入力を行うためのデバイスで構成され得る。入力部191は、マイク等の音声入力デバイスを有していてもよい。また、入力部191は、操作者の動きを画像認識して識別するジェスチャ入力デバイスを有していてもよい。
出力部193は、商品移動装置1が店員等に対してアラートを出力するためのものであり、例えばスピーカ、ディスプレイ、発光デバイスおよび振動デバイスのうちの1つまたは組合せで構成される。通信部195は、外部からデータを受信する機能と、外部へデータを送信する機能とを有する。商品移動装置1が遠隔操作可能な構成の場合、外部装置(不図示)の操作部を介して操作者からの入力が通信部195で受信され、制御装置150がその入力に基づいて商品移動装置1に所定の動作を行わせる。なお、外部装置の操作部と通信部195との通信は、有線通信または無線通信のいずれであってもよい。
商品移動装置1が遠隔操作可能な構成の場合、操作部191は、操作者によって装着されるデバイスであってもよい。このデバイスは、表示デバイス(不図示)および操作デバイス(不図示)を含む。表示デバイスは、操作者が視認可能なディスプレイを有する、例えばヘッドマウントディスプレイ(HMD)であってもよい。操作デバイスは、例えば、操作者の身体の部位(例えば手や腕)の動きを検出できる1つまたは複数の入力センサを含んでいてもよい。
記憶部160は、ROM(Read Only Memory)、RAM(Random Access Memory)およびHDD(Hard Disk Drive)等の一時的又は非一時的な記憶媒体を含む。記憶部160は、制御部151が実行するコンピュータプログラムや後述する学習済みモデル等を記憶する。記憶部160に記憶されるコンピュータプログラムは、図8及び図9等を参照して後述する、制御部151による商品移動装置1の制御方法を実施する命令を含む。
記憶部160は、取得データ記憶部160aと、参照データ記憶部160bとを有する。取得データ記憶部160aには、例えば、各カメラ50R及び50L,60,70で撮影された撮像画像データ等が格納される。参照データ記憶部160bには、商品移動装置1の動作に必要な各種データが格納される。それら各種データには、例えば、商品陳列棚410及び在庫棚420に関するデータ(各々の形状データ、位置データ、またはレーン座標データ等)、商品Tに関するデータ(形状データ、位置データ等)が含まれる。特に本実施形態においては、陳列棚410の各棚板411上の各レーンの中心位置とその左右の仕切り板412との間の距離に関するデータが、参照データ記憶部160bに記憶されている。
制御部151は、例えば、1又は2以上のCPU(Central Processing Unit)で構成される。制御部151は、記憶部160に記憶されたコンピュータプログラムを実行することにより、動作制御部152、撮像制御部153、及び画像データ処理部154として機能する。
動作制御部152は、把持部10、アーム部20、水平移動機構80および昇降機構90、及び制御装置150の各部を動作させる制御信号を生成する。動作制御部152は、操作部191からの入力信号や記憶部160に格納された各種データを参照して制御信号を生成する。制御信号の生成は、画像データ処理部155での処理結果を利用して行われてもよい。動作制御部152は、また、通信部195経由でデータの送受信を行い、また、出力部193を介して所定の出力を行う。
撮像制御部153は、各カメラ50R,50L,60,70の動作を制御する。各カメラ50R,50L,60,70の撮像タイミング等については例えば参照データ記憶部160bに予め格納されたデータを用いて決定されてもよい。
画像データ処理部155は、各カメラ50R,50L,60,70によって撮影された撮像画像データや距離データ(深度データ)を用いて各種情報処理を行う。一例として、画像データ処理部155は、第1のカメラ50Rで撮影された画像データを画像解析して、在庫棚420に並んでいる商品の識別を行う。画像データ処理部155は、陳列可否判定部155a、把持対象特定部155b、レーン特定部155c、及び商品位置特定部155dを有する。
陳列可否判定部155aは、第1のカメラ50Lで撮像した撮像画像データ及び距離データの少なくとも一方に基づき、例えば、陳列棚410に並んでいる最後尾の商品Tの後方にさらに商品を配置できるスペースSp(図6参照)が存在するか否かを判定する。図6は、商品移動装置1の第1のカメラ50Lによって撮影された陳列棚410の画像である。スペースSpが存在する場合、その商品Tは、補充が必要ということになる。したがって、陳列可否判定部155aは、スペースSpが存在する場合には、その商品TをそのスペースSpの下の棚板411の上に補充するべき旨の通知を動作制御部151に送信する。動作制御部151は、この通知を受け取った場合には、その商品Tについて補充動作を行う。
把持対象特定部155bは、第1のカメラ50Rで撮像した撮像画像データ及び距離データの少なくとも一方に基づき、在庫棚420に把持対象である補充対象商品が存在している否かの判定、補充対象商品のサイズまたは形状の特定、および補充対象商品の把持位置の決定のうち少なくとも1つの処理を行う。把持対象特定部155bは、図1に示したようなキャップ部材Tbを有する商品Tの場合には、把持位置を例えばキャップ部材Tbの付近に設定する。一方、商品Tがキャップ部材を有しない缶飲料等の場合には、把持対象特定部155bは、容器の側面部分を把持位置に設定してもよい。
レーン特定部155cは、商品移動装置1が撮影した陳列棚410の後面の画像を画像解析し、棚板411上の各レーンの座標及び各レーンの中央位置(各レーンの幅方向における中央位置)を特定する。レーン特定部155cはさらに、陳列棚410上の商品Tの座標を特定してもよい。また、レーン特定部155cは、特定した座標に対応する画像内の位置にドット等の画像を付与してもよい。
商品位置特定部155dは、把持部10によって把持された商品Tが商品陳列棚410の棚板411の商品載置位置(載置対象のレーン)の上方に移動されたときに第2のカメラ60によって撮影された撮像画像データを解析し、棚板411の商品を載置するレーンの基準位置と、そのレーンの上方に配置された商品との、複数のレーンの配列方向における位置関係を特定する。
図7は、把持部10によって把持された商品Tが陳列棚410の棚板411の商品載置位置の上方に移動されたときに撮影される撮像画像の一例を示す図である。図7に示すように、商品位置特定部155dは、一例として、撮像画像に表れている商品Tの下側部分の輪郭形状に基づいて、把持部10によって把持された状態の商品Tの底面の実質的な中心を通り、把持部10及びアーム部20の延伸方向(図3及び図4に示すx軸方向)に延びる商品中心線Tcを、商品Tの所定部分の位置として撮像画像上に生成する。商品中心線Tcの生成は、例えば、商品Tの下側部分の輪郭形状の下側に最も凸となる部分を任意の画像認識技術により特定し、当該部分を通り、商品移動装置1が予め認識している座標系における上記x軸方向に延びる直線を生成することで行うことが可能である。
さらに、商品位置特定部155dは、撮像画像上に表れている棚板411上の仕切り板412の位置を任意の画像認識技術により基準位置として特定する。商品位置特定部155dは、撮像画像上で上記のように生成された商品中心線Tcと特定された仕切り板412とに基づいて、棚板411上の仕切り板412と商品中心線Tcとの間の横方向(図3及び図4に示すy軸方向)の距離Dを求める。撮像画像中において商品中心線Tcの左右両側に仕切り板412が存在する場合には、商品位置特定部155dは、左右の仕切り板412の少なくともいずれか一方に対する距離Dを求める。棚板411上の各レーンの中心位置とその左右の仕切り板412との間の距離は参照データ記憶部160bに記憶されており、商品移動装置1のシステムにおいて既知である。したがって、商品位置特定部155dは、上記のように求められた商品中心線Tcと棚板411上の陳列対象のレーンの仕切り板412との距離Dを、参照データ記憶部160bに記憶されているそのレーンの中心位置と上記仕切り板412との距離とを比較することで、商品中心線Tcが上記レーンの中心位置に対して左右どちらの方向にどの程度の距離だけずれているかを特定することができる。あるいは、商品位置特定部155dは、レーン特定部155cによって特定されたレーンの中央位置(図7の符号Lc)を参照し、レーン中央位置Lcを基準位置として商品中心線Tcとレーンの中央位置Lcとを直接比較して、商品中心線Tcが上記レーンの中心位置Lcに対して左右どちらの方向にどの程度の距離だけずれているかを特定するように構成されていてもよい。
なお、上記では商品Tの所定部分の位置として商品中心線Tcを特定して用いる例を例示したが、本実施形態において商品Tの所定部分の位置としても用いることができる商品Tの位置はこれに限られない。例えば、商品Tの両側のいずれか一方の位置を所定部分の位置として用いてもよい。また、第2のカメラ60によって距離(深度)データも取得されている場合には、商品位置特定部155dは、商品T、棚板411及び仕切り板412の位置の検出にその深度データを用いてもよい。
動作制御部152は、上記特定結果に基づき、必要に応じて、商品Tが仕切り板412に接触することなく棚板411上の正しい商品載置位置(仕切り板412の間のレーン上)に置かれるように把持部10を移動させて商品Tの位置を補正してから、商品Tをリリースするように把持部10を動作させる。
(商品移動装置1による商品補充動作)
図8は、商品移動装置1による商品Tの補充動作を示すフローチャートである。
図8は、商品移動装置1による商品Tの補充動作を示すフローチャートである。
まず、ステップS11において、商品移動装置1のアーム部20に設置された第1のカメラ50Lによって陳列棚410の後面を撮影する。商品移動装置1は、第1のカメラ50Lで陳列棚410の各段を撮影できるようにアーム部20、水平移動機構80及び昇降機構90を移動させる。次に、商品移動装置1は第1のカメラ50Lを動作させて、陳列棚410の後面の画像を取得するとともに、陳列棚410上に並んでいる商品Tまでの距離データを取得する。
次いで、ステップS12において、陳列可否の判定が行われる。「陳列可否の判定」は、商品移動装置1の画像データ処理部155における陳列可否判定部155aが、撮像した陳列棚の後面の画像を解析し、どの商品Tをどの棚板411の上に陳列することが可能か(言い換えれば、どの商品Tが補充の必要がある商品か)を判定するステップである。商品移動装置1は、図6のような陳列棚410の後面の画像を取得する。
商品移動装置1の画像データ処理部155におけるレーン特定部155cは、第1のカメラ50Lによって撮影された撮像データによって、商品陳列棚410の棚板411上のレーンを特定する。さらに、商品移動装置1の画像データ処理部155は、商品Tまでの距離データ(図6に可視化して示す深度データDep)を取得することができるので、レーン「7」、「8」の商品Tのように陳列数が減っているものについては、商品Tの後方にスペースSpが存在することを認識可能である。商品移動装置1の陳列可否判定部155aは、商品Tまでの距離データに基づき商品TのスペースSpの有無を判定し、レーン「7」、「8」に商品Tをさらに陳列できるか否かを判定する。ステップS12の工程によって、陳列棚410のどの棚板411の上にどの商品Tの補充が必要かが判定される。
なお、補充が必要な商品か否かを判定する方法は、上記の方法に限定されるものではなく、種々の方法を利用可能である。例えば、所定の三次元空間内に商品Tが何パーセント程度の占有率で配置されているかを判定し、その値が所定の基準値以下の場合に、商品Tの補充が必要であると判定してもよい。
次いで、ステップS13において、在庫棚420が撮影される。商品移動装置1が、アーム部20、水平移動機構80、昇降機構90、及び第1のカメラ50Rを動作させて、在庫棚420を前面側から撮影する。商品移動装置1は一例として一段ずつ在庫棚420を撮影し、商品Tの在庫状況を示す撮像画像を取得する。在庫棚420の撮影は、陳列棚410の撮影の後に行われる必要はなく、陳列棚410の撮影の前に在庫棚420が撮影されてもよい。
次いで、ステップS14において、商品移動装置1の画像データ処理部155はステップS13において取得した在庫棚420の撮像画像を分析し、在庫棚420に並んでいる商品の識別を行う。また、画像データ処理部155の把持対象特定部155bは商品の把持位置の特定を行う。ここまでの工程により、陳列棚410のどの棚板411のどの位置にどの商品Tの補充が必要かを示す情報と、その商品Tに対応する補充対象商品が在庫棚420のどの位置に存在し、その補充対象商品の把持位置はどこであるかを示す情報が、商品移動装置1によって取得される。
次いで、ステップS15において、商品移動装置1は、取得した上記情報に基づき商品補充動作(ピックアンドプレース動作)を行う。具体的には、商品移動装置1の制御部151(図5参照)の動作制御部152は、アーム部20、水平移動機構80及び昇降機構90を動作させ、把持部10を在庫棚420の所定の補充対象商品に向けて移動させる。そして、把持部10で補充対象商品の予め特定された把持位置を把持し、補充対象商品を持ち上げる。その後、動作制御部152は、アーム部20、水平移動機構80及び昇降機構90を動作させて、把持した商品Tを陳列棚410の所定の載置位置まで移動させ、把持部10から商品Tを放すことで、商品Tを所定の位置に載置する。以後、商品移動装置1は、同様のピックアンドプレース動作を繰り返し商品Tの補充を完了する。
上記一連の工程が、商品移動装置1が商品Tを在庫棚420から陳列棚410へ自動で補充するための基本的な動作である。このような一連の工程の中のステップS15における商品補充動作(ピックアンドプレース動作)において、商品Tの底面が棚板411の仕切り版412の上に接触する状態で商品Tを商品陳列棚410の棚板411の上に載置する動作が行われると、商品Tが転倒したり斜めに傾いた状態となったりして、他の商品Tの陳列や補充の妨げになるおそれがある。本実施形態は、商品補充動作(ピックアンドプレース動作)において商品Tが棚板411の仕切り版412に接触することを防ぐ手段を提供する。
<第1の動作例>
図9は、本実施形態の商品移動装置1の第1の動作例を説明するためのフローチャートである。
図9は、本実施形態の商品移動装置1の第1の動作例を説明するためのフローチャートである。
最初に、ステップS21において、商品移動装置1の制御部151(図5参照)の動作制御部152は、把持部10、アーム部20、水平移動機構80及び昇降機構90を動作させ、在庫棚420の補充対象の商品Tを把持部10で把持して、商品Tを陳列棚410の載置位置の上方まで移動させる。このステップS21は、上述したステップS15において把持部10から商品Tを放す前までの動作に相当する。
次にステップS22において、商品移動装置1の制御部151(図5参照)の撮像制御部153は、第2のカメラ60による撮影を行う。これにより、第2のカメラ60によって、把持部10で把持した商品Tの少なくとも下側部分とその下方の棚板411を含む撮像画像及び距離データが取得される。取得されたそれらの撮像画像及び距離データは、記憶部160の取得データ記憶部160aに記憶される。第2のカメラ60によって取得された撮像画像には、図7に示すように、把持部10で把持した商品Tの少なくとも下側部分と、商品Tの下方に位置する棚板411及び仕切り板412の少なくとも一部とが含まれる。
次にステップS23において、商品移動装置1の画像データ処理部155における商品位置特定部155dにより、棚板411上の商品Tの載置位置(レーン)の上方に位置している商品Tと、載置位置である当該レーンの基準位置との位置関係を特定する。このステップS23では、図7を参照して上記に説明したように、商品位置特定部155dは最初に、第2のカメラ60で取得された撮像画像に表れている商品Tの下側部分の輪郭形状に基づいて、把持部10によって把持された状態の商品Tの底面の中心を通り、把持部10及びアーム部20の延伸方向(図3及び図4に示すx軸方向)に延びる商品中心線Tcを撮像画像上に生成する。上述したように、商品中心線Tcの生成は一例として、商品Tの下側部分の輪郭形状の下側に最も凸となる部分を任意の画像認識技術により特定し、当該部分を通り、商品移動装置1が予め認識している座標系における上記x軸方向に延びる直線を生成することで行うことが可能である。商品位置特定部155dはさらに、撮像画像上に表れている棚板411上の仕切り板412を任意の画像認識技術により特定する。
続いて商品位置特定部155dは、棚板411上の仕切り板412と、商品中心線Tcとの間の横方向(図3及び図4に示すy軸方向)の距離Dを求める。撮像画像中において商品中心線Tcの左右両側に仕切り板412が存在する場合には、商品位置特定部155dは、左右の仕切り板412の少なくともいずれか一方に対する距離Dを求める。
棚板411上の各レーンの中心とその左右の仕切り板412との間の距離は参照データ記憶部160bに予め記憶されており、商品移動装置1のシステムにおいて既知である。したがって、商品位置特定部155dは、上記のように求められた商品中心線Tcと棚板411上の陳列対象のレーンの仕切り板412との距離Dを、参照データ記憶部160bに記憶されているそのレーンの中心位置と上記仕切り板412との距離と比較することで、商品中心線Tcが上記レーンの中心位置に対して左右どちらの方向にどの程度の距離だけずれているのかを特定することができる。例えば、参照データ記憶部160bに記憶されているレーンの中心位置と上記仕切り板412との距離が30mmであり、求められた距離Dが20mmである場合には、商品Tの中心がレーンの中心位置から上記仕切り板412に近づく方向に10mmずれていると特定され、あるいは、求められた距離Dが35mmである場合には、商品Tの中心がレーンの中心位置から上記仕切り板412から離れる方向に5mmずれていると特定される。
最後にステップS24において、商品移動装置1の動作制御部152は、レーンの中心位置に対する商品Tの位置ずれを補正するために把持部10及びアーム部20等を動作させる。
動作制御部152は、ステップS23において商品位置特定部155dにより特定されたレーン中心位置と商品Tの中心との位置関係に基づいて、把持部10が把持している商品Tの中心がレーン中心位置に位置するまで商品Tを左右方向(図3及び図4におけるy軸に沿う方向)に移動させるように、把持部10及びアーム部20等を動作させる。例えば上記の例において、商品Tがレーンの中心位置から上記仕切り板412に近づく方向に20mmずれていると特定された場合には、商品Tを上記仕切り板412から離れる方向に20mm移動させ、あるいは、あるいは、商品Tがレーンの中心位置から上記仕切り板412から離れる方向に15mmずれていると特定された場合には、商品Tを上記仕切り板412に近づく方向に15mm移動させる。これにより、商品Tはその中心がレーンの中心位置と実質的に一致する位置の上方に配置される。
このステップS24の後に、上述したステップS15の最後の動作である、商品移動装置1の動作制御部152は把持部10から商品Tを放す動作を実行し、商品Tを棚板411上の所定の位置(陳列対象のレーン)に載置する。一般に、棚板411上の各レーンの幅は陳列対象の商品Tの横幅よりも大きく設けられているため、商品Tの中心がレーンの中心位置と実質的に一致する位置では、商品Tの側面と仕切り板412との間にはいくらかの隙間空間が確保されているので、その位置で商品Tを棚板411の当該レーンの上に載置しても、商品Tの底面が仕切り板412に接触することはない。したがって、上述したステップS15において棚板411の陳列位置の上方に移動された商品Tが所定位置からずれている場合であっても、ステップS24において商品Tの配置位置の補正動作を実行した後に、上記ステップS15の最後に行われる把持部10から商品Tを放す動作を実行することにより、商品Tを仕切り板412に接触させて転倒等させることなく、商品Tを棚板411上の載置位置(載置対象のレーン上)に載置することができる。
なお、上記では、ステップS15において棚板411の載置位置の上方に移動された商品Tが所定位置からずれている場合には、ステップS24において商品Tの配置位置の補正動作を実行することを説明したが、所定位置からのずれ量によってはこの補正動作を省略してもよい。上記のように、一般に棚板411上の各レーンの幅は陳列対象の商品Tの横幅よりも大きく設けられている。そのため、商品Tの所定位置からのずれ量が所定距離よりも小さい場合には、その状態で把持部10から商品Tを放して棚板411上に載置しても、商品Tを仕切り板412に接触させることなく棚板411上の所定のレーンに陳列配置することができる。補正動作を省略可能とするずれ量は、例えば、3mmや5mm等、商品移動装置1の動作制御部152において予め設定することができる。動作制御部152は、商品位置特定部155dにより特定されたずれ量が上記の設定距離以内である場合には、商品Tの位置補正動作を行うことなく把持部10から商品Tを放す動作を実行してもよい。
ステップS24において、レーンの中心位置に対する商品Tの位置ずれを補正するために把持部10及びアーム部20等を動作させる際、場合によっては、商品T、把持部10あるいはアーム部20が陳列棚410の壁や支柱等に当接して、把持部10及びアーム部20等をそれ以上動かすことができない状況が生じ得る。そのような状況で商品Tの位置補正のため把持部10及びアーム部20等をさらに動作させようとすると、商品T、把持部10あるいはアーム部20が損傷したり、あるいは陳列棚410の壁や支柱等が損傷したりするおそれがある。本実施形態によれば、商品Tの位置ずれを補正するために把持部10及びアーム部20等が作動している間に、把持部10が保持している商品T、把持部10あるいはアーム部20が陳列棚410の壁や支柱等の障害物に当接したことが接触検知センサ30によって検知されると、動作制御部152は商品Tの位置補正のための把持部10及びアーム部20等の動作を終了し、把持部10から商品Tを放す動作を実行する。これにより、商品T、把持部10あるいはアーム部20が障害物に接触した状態で把持部10あるいはアーム部20をさらに動作させることでそれらの商品T、把持部10あるいはアーム部20、もしくは陳列棚410の壁や支柱等が損傷することを防ぐことができる。この場合には、商品移動装置1は、通信部195から操作者が使用する外部装置(不図示)に位置補正動作不能を示す通知を行ってもよい。その通知を受けた装置の操作者は、外部装置で商品移動装置1を遠隔操作し、第2のカメラ60から画像データを取得して商品Tの位置を確認し、必要に応じてその位置補正のために把持部10及びアーム部20等を遠隔操作する等の対応を行うことが可能である。
また、上記では、ステップS23において、棚板411上の仕切り板412を商品位置特定の基準位置とする場合について説明したが、本実施形態において商品位置特定の基準位置として用いることができるのは仕切り板412の位置に限られない。例えば、商品位置特定部155dは、画像データ処理部155のレーン特定部155cが特定した各レーンの中心位置Lcを商品位置特定の基準位置とし、上記のように特定した商品Tの中心線Tcと、その商品Tを載置するレーンの中心位置Lcとの距離を位置ずれ量として求めてもよい。この場合は、このように求められた距離(位置ずれ量)を補正するように、動作制御部152による商品Tの位置補正動作が実行される。
<第2の動作例>
上述した第1の動作例では、第2のカメラ60で撮影された画像データに基づいて、商品移動装置1の商品位置特定部155dが、把持部10に把持された商品Tとその商品Tを載置すべき棚板411上のレーン内の載置位置との位置関係を特定し、その特定結果に基づいて、商品移動装置1の動作制御部152が把持部10及びアーム部20等を動作させて、商品Tの位置を補正するように棚板411上のレーン内の載置位置に移動させてから把持部10が商品Tを放して、商品Tをその載置位置に載置する例を示した。これに対して第2の動作例は、商品移動装置1の商品位置特定部155dが、機械学習により学習させて生成した学習済みモデルを用いて、把持部10に把持された商品Tとその商品Tを載置すべき棚板411上のレーン内の載置位置との位置関係を特定する手段を提供する。
上述した第1の動作例では、第2のカメラ60で撮影された画像データに基づいて、商品移動装置1の商品位置特定部155dが、把持部10に把持された商品Tとその商品Tを載置すべき棚板411上のレーン内の載置位置との位置関係を特定し、その特定結果に基づいて、商品移動装置1の動作制御部152が把持部10及びアーム部20等を動作させて、商品Tの位置を補正するように棚板411上のレーン内の載置位置に移動させてから把持部10が商品Tを放して、商品Tをその載置位置に載置する例を示した。これに対して第2の動作例は、商品移動装置1の商品位置特定部155dが、機械学習により学習させて生成した学習済みモデルを用いて、把持部10に把持された商品Tとその商品Tを載置すべき棚板411上のレーン内の載置位置との位置関係を特定する手段を提供する。
商品Tとその商品Tを載置すべき棚板411上の載置位置との位置関係の特定に用いられる学習済みモデルは、一例として、把持部10が商品Tを棚板411上の載置位置に載置するために把持部10及びアーム部20によって商品Tがその載置位置の上方に配置された状態で上述のように第2のカメラ60によって撮影される、把持部10に把持された商品Tと棚板411とを含む種々の画像データ及び/又は深度データと、各データに関連付けられた棚板411上の載置位置と商品Tとの位置関係に関するアノテーション情報とを教師データとし、把持部10に把持された商品Tと棚板411とを含む画像データ及び/又は深度データを学習データとして、コンピュータで構成される任意の学習器によって機械学習させることで生成することができる。
そのような学習済みモデルは、例えば、各層にニューロンを含む複数の層で構成されるニューラルネットワークで機械学習を実行して生成することができる。そのようなニューラルネットワークとして、例えば20層以上を備えた畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)のようなディープニューラルネットワークを用いてもよい。このようなディープニューラルネットワークを用いた機械学習は、ディープラーニングと称される。このようにして生成された学習済みモデルは、商品移動装置1の記憶部160に記憶され、商品移動装置1の商品位置特定部155dの機能モジュールとして実装される。
図10は、商品移動装置1の第2のカメラ60で撮影される、把持部10で把持され、棚板411上の載置位置に載置される前に載置位置の上方に配置された商品Tと、棚板411上の載置位置との種々の位置関係の例を示す概念図である。図10では、商品Tの底部の周囲面の輪郭と、棚板411上の載置位置(レーン)を形成する仕切り板412とを上方から投影した状態に模式的に描画されている。
図10(a)では、棚板411上の載置位置であるレーンの中心位置Lcに対して商品Tの中心線Tcが図示左側(y軸方向)に15mmずれた状態となっている。図10(a)に示す状態の画像データは、棚板411上の載置位置に対する商品Tの位置関係に関するアノテーション情報として、「ずれ方向:y軸方向、ずれ量:15mm、左側接触」が関連付けられて教師データとされる。図10(b)では、棚板411上の載置位置であるレーンの中心位置Lcに対して商品Tの中心線Tcが図示左側(y軸方向)に5mmずれた状態となっており、図10(b)に示す状態の画像データは、棚板411上の載置位置に対する商品Tの位置関係に関するアノテーション情報として、「ずれ方向:y軸方向、ずれ量:5mm、接触無し」が関連付けられて教師データとされる。また、図10(c)では、棚板411上の載置位置であるレーンの中心位置Lcに対して商品Tの中心線Tcが図示右側(-y軸方向)に10mmずれた状態となっており、図10(c)に示す状態の画像データは、棚板411上の載置位置に対する商品Tの位置関係に関するアノテーション情報として、「ずれ方向:-y軸方向、ずれ量:10mm、右側接触」が関連付けられて教師データとされる。教師データは、このように、載置位置の上方に配置された商品Tと棚板411上の載置位置との種々の位置関係を示す複数の画像データ及び/深度データと、各画像データに関連付けられた棚板411上の載置位置と商品Tとの位置関係に関するアノテーション情報とで構成される。
本例において、上述した学習済みモデルを機能モジュールとして実装した商品移動装置1の商品位置特定部155dは、第1の動作例で説明したステップS23の処理に代えて、第2のカメラ60によって撮影された画像データについて、上記学習済みモデルを用いて、棚板411上の載置位置に載置される前に載置位置の上方に配置された商品Tと棚板411上の載置位置との位置関係を特定する。本例では学習済みモデルを用いて上記位置関係の特定が行われるので、第1の動作例のように画像認識技術を用いた処理を実行して画像データ等から上記位置関係を特定する場合に比べて、計算コストを低減しつつ処理速度を速めることができる。
本例における商品移動装置1の動作制御部152も、第1の動作例において説明したステップS24と同様に、上記のように特定されたレーン中心位置Lcと商品Tの中心線Tcとの位置関係に基づいて、レーンの中心位置Lcに対する商品Tの中心の位置ずれを補正するように、把持部10及びアーム部20等を動作させ、把持部10が把持している商品Tの中心がレーン中心位置に位置するまで商品Tを左右方向(図3及び図4におけるy軸に沿う方向)に移動させる。そして、商品移動装置1の動作制御部152は把持部10から商品Tを放す動作を実行し、商品Tを棚板411上の所定の位置(陳列対象のレーン)に載置する。
なお、第2の動作例の変形例として、商品移動装置1の商品位置特定部155dは、上述した学習済みモデルを用いて処理を行った結果生成される確率値の大きさに応じて、棚板411上の載置位置に載置される前に載置位置の上方に配置された商品Tと、棚板411上の載置位置との位置関係を特定するように構成されていてもよい。
例えば、商品位置特定部155dは、第2のカメラ60によって撮影された画像データについて、上記学習済みモデルを用いて、棚板411上の載置位置に載置される前に載置位置の上方に配置された商品Tの位置として、(1)載置位置のレーンの中央領域(仕切り板412への接触無し)、(2)レーンの画面左側の仕切り板412に接触、(3)レーンの画面右側の仕切り板412に接触、の3つの状態に関する発生確率値を求める。商品位置特定部155dは、取得したそれらの3つの状態に関する発生確率値のうち最も値が大きい発生確率値の状態を、処理対象の画像データにおける商品Tの位置として採用する。
商品移動装置1の動作制御部152は、商品Tの位置の各状態及びその発生確率値に予め関連付けられた位置補正動作内容に従って、レーンの中心位置Lcに対する商品Tの中心の位置ずれを補正するように、把持部10及びアーム部20等を動作させ、把持部10が把持している商品Tの中心がレーン中心に位置するまで商品Tを左右方向(図3及び図4におけるy軸に沿う方向)に移動させる。そして、商品移動装置1の動作制御部152は把持部10から商品Tを放す動作を実行し、商品Tを棚板411上の所定の位置(陳列対象のレーン)に載置する。
下記の表1に、商品Tの位置の各状態及びその発生確率値と位置補正動作内容とを関連付けたルックアップテーブルの一例を示す。このルックアップテーブルは、商品移動装置1の記憶部160に予め記憶されている。
上記例について説明すると、例えば、3つの状態に関する発生確率値のうち最も値が大きい状態が「(1)中央領域」であって、その発生確率値が0.9~1.0、0.8~0.9未満、0.7~0.8未満及び0.6~0.7未満であるときは、商品Tは棚板411上の所定の位置(陳列対象のレーン)のほぼ中央位置にあり、商品Tがその左右の仕切り板412のどちらにも接触していない確率が60%以上であるため、位置補正動作内容は「位置補正無し」とされている。したがって、これらに該当する場合には動作制御部152による商品Tの位置補正動作は行われず、その位置で把持部10から商品Tを放す動作を実行し、商品Tを棚板411上の所定の位置(陳列対象のレーン)に載置する。
また、3つの状態に関する発生確率値のうち最も値が大きい状態が「(2)レーン左側の仕切り板に接触」である場合には、商品Tの位置補正のための移動距離がその発生確率値に応じて設定される。発生確率値が一番大きい0.9~1.0である場合には、商品Tがレーン左側の仕切り板により近い位置の上方に配置されている可能性が高いため、レーン中央までの移動距離が比較的大きい「右方向へ15mm」に設定されている。発生確率値が0.8~0.9未満、0.7~0.8未満及び0.6~0.7未満のように小さくなるにつれて、商品Tがレーン左側の仕切り板に近い位置の上方に配置されている可能性が低くなる、つまり商品Tがレーン中央側に配置されている可能性が高くなるため、それらの発生確率値に関連付けられるレーン中央までの移動距離は10mm、5mm、3mmのように順次小さく設定されている。3つの状態に関する発生確率値うち最も値が大きい状態が「(3)レーン右側の仕切り板に接触」である場合もこれと同様に設定されるが、商品Tの位置補正のための移動方向はこれとは逆の「左方向」となる。
なお、3つの状態に関する発生確率値のうち最も値が大きい状態の発生確率値が0.6未満である場合には、商品Tの位置の特定精度が比較的低いために商品Tの位置が正しく特定されていない可能性があるため、商品移動装置1は通信部195から操作者が使用する外部装置(不図示)に位置特定不能を示す通知を行う。その通知を受けた装置の操作者は、外部装置で商品移動装置1を遠隔操作し、第2のカメラ60から画像データを取得して商品Tの位置を確認し、必要に応じてその位置補正のために把持部10及びアーム部20等を遠隔操作する等の対応を行うことが可能である。
あるいは、3つの状態に関する発生確率値がいずれも0.6以上である場合であっても、それらが例えば、(1)「中央領域」が0.7、(2)「レーン左側の仕切り板に接触」が0.6、(3)「レーン右側の仕切り板に接触」が0.7のように、いずれも比較的低い値で、かつ互いに近い値である場合には、商品Tの位置状態の特定が困難な状態にある。そのためこのような場合にも、商品移動装置1は通信部195から操作者が使用する外部装置(不図示)に位置特定不能を示す通知を行ってもよい。一方、3つの状態に関する発生確率値がいずれも0.6未満である場合であっても、それらが例えば、(1)「中央領域」が0.5、(2)「レーン左側の仕切り板に接触」が0.001、(3)「レーン右側の仕切り板に接触」が0.001のように、一番大きい値とそれ以外の値との差が大きい場合には、商品位置特定部155dは一番大きい値の状態を商品Tの位置状態として採用してもよい。前者のように発生確率値がいずれも0.6以上である場合であっても位置特定不能を示す通知を行うときの基準(例えば、3つの状態に関する発生確率値が互いに10%の誤差内である場合等)や、後者のように発生確率値がいずれも0.6未満である場合であっても一番大きい値の状態を商品Tの位置状態として採用するときの基準(例えば、一番大きい発生確率値がそれ以外の発生確率値の10倍以上等)は、適宜設定することが可能である。
発生確率値の各範囲及びそれに関連付けられる位置補正動作並びにその移動距離は、表1に記載した例に限定されるものではなく、実施内容に応じて適宜設定することが可能である。
以上、発明の実施形態を通じて本開示を説明したが、上述の実施形態は、特許請求の範囲に係る発明を限定するものではない。また、本開示の実施形態の中で説明されている特徴を組み合わせた形態も本発明の技術的範囲に含まれ得る。さらに、上述の実施形態に、多様な変更または改良を加えることが可能であることも当業者に明らかである。
Claims (9)
- 在庫棚に載置された商品を前記在庫棚と異なる陳列棚に移動する商品移動装置であって、
前記商品を把持する把持部を備えたアーム部と、
前記陳列棚の棚板の上に設けられた前記商品を陳列する複数のレーンのうちの1つのレーンに前記商品を載置するために前記把持部に把持されて前記アーム部によって前記レーンの上方に配置された前記商品の少なくとも一部と、前記棚板の前記陳列位置を含む少なくとも一部とを含む画像データを取得する撮像部と、
前記把持部、前記アーム部及び前記撮像部の動作を制御する制御部と、
を備え、
前記制御部は、
前記画像データに基づいて、前記棚板の前記商品を載置する前記レーンの基準位置と、前記レーンの上方に配置された前記商品との、前記複数のレーンの配列方向における位置関係を特定することと、
前記特定された前記位置関係に基づいて、前記アーム部を動作させて前記基準位置に対する前記商品の位置を補正することと、
を実行するように構成されている、商品移動装置。 - 前記位置関係を特定することは、前記画像データを解析して前記基準位置として前記レーンの中央位置を特定することを含む、請求項1に記載の商品移動装置。
- 前記棚板には、前記複数のレーンを仕切る仕切り部材が設けられており、
前記位置関係を特定することは、前記画像データを解析して前記基準位置として前記仕切り部材の位置を特定することを含む、請求項1に記載の商品移動装置。 - 前記位置関係を特定することは、前記画像データを解析して前記商品の所定部分の位置を求めることを含む、請求項1に記載の商品移動装置。
- 前記位置関係を特定することは、種々の前記画像データと、当該種々の画像データにそれぞれ関連付けられた前記商品と前記基準位置との前記位置関係に関するアノテーション情報とを教師データとし、当該教師データの前記種々の画像データとは異なる種々の前記画像のデータを学習データとして予め機械学習して生成された学習済みモデルを用いて前記位置関係を特定することを含む、請求項1に記載の商品移動装置。
- 前記基準位置に対する前記商品の位置を補正することは、前記学習済みモデルを用いて特定される前記位置関係に関する確率値に対応して予め関連付けられた距離だけ前記商品を移動させることを含む、請求項5に記載の商品移動装置。
- 前記商品移動装置は、前記把持部が保持する前記商品、前記把持部若しくは前記アーム部が障害物に接触したことを検知する接触検知センサをさらに備えており、
前記制御部は、前記基準位置に対する前記商品の位置を補正するために前記アーム部を動作させている間に、前記把持部が保持する前記商品、前記把持部若しくは前記アーム部が前記障害物に接触したことを接触検知センサが検知すると、前記基準位置に対する前記商品の位置を補正するための前記アーム部の動作を終了させるように構成されている、請求項1に記載の商品移動装置。 - 在庫棚に載置された商品を前記在庫棚と異なる陳列棚に移動する商品移動装置の制御方法であって、
前記商品移動装置は、
前記商品を把持する把持部を備えたアーム部と、
前記陳列棚の棚板の上に設けられた前記商品を陳列する複数のレーンのうちの1つのレーンに前記商品を載置するために前記把持部に把持されて前記アーム部によって前記レーンの上方に配置された前記商品の少なくとも一部と、前記棚板の前記陳列位置を含む少なくとも一部とを含む画像データを取得する撮像部と、
前記把持部、前記アーム部及び前記撮像部の動作を制御する制御部と、
を備え、
前記制御部によって実行される、
前記画像データに基づいて、前記棚板の前記商品を載置する前記レーンの基準位置と、前記レーンの上方に配置された前記商品との、前記複数のレーンの配列方向における位置関係を特定するステップと、
前記特定された前記位置関係に基づいて、前記アーム部を動作させて前記基準位置に対する前記商品の位置を補正するステップと、
を含む、商品移動装置の制御方法。 - 在庫棚に載置された商品を前記在庫棚と異なる陳列棚に移動する商品移動装置を制御するプログラムであって、
前記商品移動装置は、
前記商品を把持する把持部を備えたアーム部と、
前記陳列棚の棚板の上に設けられた前記商品を陳列する複数のレーンのうちの1つのレーンに前記商品を載置するために前記把持部に把持されて前記アーム部によって前記レーンの上方に配置された前記商品の少なくとも一部と、前記棚板の前記陳列位置を含む少なくとも一部とを含む画像データを取得する撮像部と、
前記把持部、前記アーム部及び前記撮像部の動作を制御する制御部と、
を備え、
前記プログラムは、前記制御部に、
前記画像データに基づいて、前記棚板の前記商品を載置する前記レーンの基準位置と、前記レーンの上方に配置された前記商品との、前記複数のレーンの配列方向における位置関係を特定するステップと、
前記特定された前記位置関係に基づいて、前記アーム部を動作させて前記基準位置に対する前記商品の位置を補正するステップと、
を実行させる、プログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-052993 | 2022-03-29 | ||
JP2022052993 | 2022-03-29 | ||
JP2022-117864 | 2022-07-25 | ||
JP2022117864 | 2022-07-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023190122A1 true WO2023190122A1 (ja) | 2023-10-05 |
Family
ID=88201373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/011752 WO2023190122A1 (ja) | 2022-03-29 | 2023-03-24 | 商品移動装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023190122A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020011308A (ja) * | 2018-07-13 | 2020-01-23 | オムロン株式会社 | マニピュレータ制御装置、マニピュレータ制御方法、及びマニピュレータ制御プログラム |
JP2020130192A (ja) * | 2019-02-12 | 2020-08-31 | サンデン・リテールシステム株式会社 | 載置状況判定システム |
-
2023
- 2023-03-24 WO PCT/JP2023/011752 patent/WO2023190122A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020011308A (ja) * | 2018-07-13 | 2020-01-23 | オムロン株式会社 | マニピュレータ制御装置、マニピュレータ制御方法、及びマニピュレータ制御プログラム |
JP2020130192A (ja) * | 2019-02-12 | 2020-08-31 | サンデン・リテールシステム株式会社 | 載置状況判定システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10857673B2 (en) | Device, method, program and recording medium, for simulation of article arraying operation performed by robot | |
US11046530B2 (en) | Article transfer apparatus, robot system, and article transfer method | |
JP6807949B2 (ja) | 干渉回避装置 | |
US8498745B2 (en) | Robot apparatus and gripping method for use in robot apparatus | |
US11584004B2 (en) | Autonomous object learning by robots triggered by remote operators | |
JP6902369B2 (ja) | 提示装置、提示方法およびプログラム、ならびに作業システム | |
JP6869060B2 (ja) | マニピュレータの制御装置、制御方法およびプログラム、ならびに作業システム | |
JP4976883B2 (ja) | マニピュレータシステム | |
JP2012030320A (ja) | 作業システム、作業ロボット制御装置および作業プログラム | |
US11945106B2 (en) | Shared dense network with robot task-specific heads | |
JP2020082253A (ja) | 画像情報処理装置、把持システム、および画像情報処理方法 | |
CN115008477A (zh) | 机械手移动补偿方法、装置、计算机可读存储介质 | |
WO2023190122A1 (ja) | 商品移動装置及びその制御方法 | |
JP6931585B2 (ja) | 作業システム、作業システムの制御方法及びプログラム | |
WO2023022214A1 (ja) | 商品移動装置、商品移動システムおよび商品移動装置の制御方法 | |
Costanzo et al. | Enhanced 6d pose estimation for robotic fruit picking | |
WO2023190123A1 (ja) | 商品移動装置及びその制御方法 | |
WO2024024877A1 (ja) | 商品移動装置及びその制御方法 | |
WO2024181200A1 (ja) | 商品移動装置及びその制御方法 | |
WO2023187006A1 (en) | Controlling a robotic manipulator for packing an object | |
JP7481205B2 (ja) | ロボットシステム、ロボットの制御方法、情報処理装置、コンピュータプログラム、学習装置、及び学習済みモデルの生成方法 | |
WO2024101413A1 (ja) | 商品移動装置、その制御方法及びコンピュータプログラム | |
TW202437214A (zh) | 商品移動裝置及其控制方法、以及程式 | |
JP2022060003A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
US20240351216A1 (en) | Merchandise movement device, merchandise movement system, and method for controlling merchandise movement device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23780132 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2024512328 Country of ref document: JP Kind code of ref document: A |