WO2023190122A1 - 商品移動装置及びその制御方法 - Google Patents

商品移動装置及びその制御方法 Download PDF

Info

Publication number
WO2023190122A1
WO2023190122A1 PCT/JP2023/011752 JP2023011752W WO2023190122A1 WO 2023190122 A1 WO2023190122 A1 WO 2023190122A1 JP 2023011752 W JP2023011752 W JP 2023011752W WO 2023190122 A1 WO2023190122 A1 WO 2023190122A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
shelf
moving device
lane
gripping
Prior art date
Application number
PCT/JP2023/011752
Other languages
English (en)
French (fr)
Inventor
パーベル サフキン
ヨニ バータイネン
Original Assignee
Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 filed Critical Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社
Publication of WO2023190122A1 publication Critical patent/WO2023190122A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials

Definitions

  • the present disclosure relates to a product moving device and a control method thereof.
  • Patent Document 1 discloses a product replenishment system that replenishes products unmanned in order to save labor.
  • This product replenishment system includes a photographing device that photographs the product to be replenished, and an articulated robot device that moves the product.
  • the articulated robot device picks up a product to be replenished from a predetermined position and moves it to a display shelf.
  • an error may generally occur between the position of the display shelf recognized by the system using image recognition technology or the like and the actual position of the display shelf. If the articulated robot device moves the item and places it at the destination position on the display shelf while such an error occurs, the item may be placed at a position that deviates from the original position on the display shelf. Items will be placed at. As shown in Patent Document 1, display shelves are sometimes provided with partition plates that partition display lanes, and when an article is placed in a position where it comes into contact with such a partition plate, the article I fall down.
  • An object of the present disclosure is to provide a product moving device etc. that makes it possible to correct the destination position of the product when the destination position of the product is different from the intended position.
  • a product moving device that moves a product placed on a stock shelf to a display shelf different from the stock shelf, which includes an arm portion including a gripping portion for grasping the product, and a product moving device that moves a product placed on a stock shelf to a display shelf different from the stock shelf. At least a portion of the product held by the grip and placed above the lane by the arm in order to place the product on one of a plurality of lanes for displaying products provided on the shelf board. and an imaging unit that acquires image data including at least a portion of display positions of shelf boards, and a control unit that controls operations of the gripping unit, the arm unit, and the imaging unit. be done.
  • the control unit identifies, based on the image data, a positional relationship between a reference position of a lane in which products are placed on the shelf and products placed above the lane in the arrangement direction of the plurality of lanes; Based on the specified positional relationship, the arm section is operated to correct the position of the product relative to the reference position.
  • a product moving device and the like that makes it possible to correct the destination position of the product when the destination position of the product is different from the intended position.
  • FIG. 2 is a plan view schematically showing the arrangement of shelves in the store and a product moving device arranged in the store.
  • Figure (a) is a diagram of the display shelf viewed from the front side
  • Figure (b) is a diagram of the display shelf viewed from the rear side.
  • FIG. 2 is a side view schematically showing the configuration of a product moving device.
  • FIG. 3 is a perspective view showing the peripheral structure of the tip of the arm part of the product moving device.
  • FIG. 2 is a block diagram showing the configuration of a product moving device. This is an image of the display shelf taken by the first camera (left side) of the product moving device.
  • the second camera of the product moving device captures the image of the product held by the gripper and placed above the placement position on the shelf before it is placed on the shelf, and the product placed on the shelf.
  • FIG. 1 is a plan view schematically showing the arrangement of shelves in a store and a product moving device arranged in the store.
  • FIG. 2(a) is a diagram of the display shelf viewed from the front side
  • FIG. 2(b) is a diagram of the display shelf viewed from the rear side.
  • the inside of the store is divided into an in-store space SH1 and a backyard space SH2.
  • the in-store space SH1 is a space where customers select and purchase products T.
  • the backyard space SH2 is a space where the inventory of products T is stored.
  • a display shelf 410, an inventory shelf 420, and a product moving device 1 are arranged in the store.
  • the display shelf 410 has a plurality of shelf boards 411 (also referred to as display shelf tiers), as shown in FIGS. 2(a) and 2(b).
  • a plurality of types of products T are arranged on the shelf board 411.
  • products T of the same type are arranged in two or three rows.
  • the products T may be arranged in only one row.
  • a plurality of partition plates 412 are provided on the upper surface of each shelf board 411 to partition the products T in each row.
  • FIG. 2 shows an example in which products T of the same type are arranged in two rows, and in this example, a partition plate 412 is provided for every two rows of products T.
  • the arrangement of the partition plates 412 is not limited to this, and the partition plates 412 can be arranged at intervals of one row or two or more rows.
  • the front side of the display shelf 410 faces the in-store space SH1, so that customers can take products T from the front side of the display shelf 410.
  • the shelf board 411 is inclined so that the front side of the display shelf 410 is relatively lower than the rear side. As a result, when a customer picks up an item T, other items T lined up behind the item T slide on the shelf board 411 and move to the front side.
  • the rear surface of the display shelf 410 faces the backyard space SH2, and a store clerk or the product moving device 1 replenishes the display shelf 410 with products T from the rear surface side of the display shelf 410.
  • doors may be provided on the front and rear surfaces of the display shelf 410.
  • the inventory shelf 420 is arranged to face the display shelf 410 in the backyard space SH2, and the front surface of the inventory shelf 420 and the rear surface of the display shelf 410 face each other.
  • the inventory shelf 420 has a plurality of shelf boards (tiers) arranged in the height direction.
  • products to be replenished which are products to be replenished on the display shelf 410, are arranged.
  • the person who arranges the replenishment target products may be a store clerk or the product moving device 1.
  • FIG. 3 is a side view schematically showing the configuration of the product moving device 1.
  • FIG. 4 is a perspective view showing the structure around the tip of the arm portion of the product moving device 1.
  • FIG. 5 is a block diagram showing the configuration of the product moving device 1. As shown in FIG.
  • the product moving device 1 includes a gripping section 10, an arm section 20, a contact detection sensor 30, first cameras 50R and 50L, a second camera 60, a third camera 70, and a horizontal movement mechanism 80. , a lifting mechanism 90, and a control device 150.
  • the product moving device 1 is a robot that moves in the space between the display shelf 410 and the inventory shelf 420.
  • the product moving device 1 grips the product T in the inventory shelf 420 with the gripping section 10, and then moves the gripped product T to the display position of the product on the display shelf 410 (the lane where the product T is displayed). .
  • the gripping section 10 has a pair of gripping members 11a and 11b for gripping an object.
  • the pair of gripping members 11a and 11b have a shape that allows them to grip the vicinity of the cap member Tb of the product T, which is a plastic bottle beverage, and also to grip the outer periphery of the product T, which is a canned beverage.
  • the gripping part 10 may have an adsorption structure for adsorbing and holding an object, or may utilize adhesive force, magnetic force, etc. It may also have a structure that holds the object.
  • the arm portion 20 has a plurality of link members 21, 22, and 23.
  • the plurality of link members 21, 22, and 23 constitute an articulated robot arm.
  • an articulated robot arm has degrees of freedom in linear directions along the X-axis, Y-axis, and Z-axis, and has degrees of freedom around the X-axis, Y-axis, and Z-axis. It may be a 6-axis arm having degrees of freedom in directions.
  • the articulated robot arm may also have any other mechanism such as a Cartesian coordinate robot arm, a polar coordinate robot arm, a cylindrical coordinate robot arm, or a SCARA robot arm.
  • One end of the arm portion 20 is fixed to a lifting mechanism 90.
  • a gripping portion 10 is provided at the tip of the arm portion 20 .
  • the operation of arm section 20 is controlled by control device 150.
  • the arm section 20 can move the grip section 10 toward the inventory shelf 420 side or toward the display shelf 410 side by moving the respective link members 21, 22, and 23.
  • the orientation of the arm portion 20 is not fixed in a specific direction, for convenience of explanation, the direction in which each link member 21, 22, 23 is extended will be referred to as the extending direction Ax of the arm portion 20 (see FIG. 4).
  • the arm section 20 moves the gripping section 10 forward toward the product T to grasp the product T.
  • the extending direction Ax of the arm portion 20 corresponds to the forward direction of the gripping portion 10 in the gripping operation.
  • the contact detection sensor 30 detects when the product T gripped by the gripper 10 is placed on the shelf board 411 of the display shelf 410, the product T gripped by the gripper 10, the gripper 10, or the arm 20 is placed on the shelf 411 of the display shelf 410.
  • This is a sensor that detects when the vehicle comes into contact with an obstacle such as a wall or pillar.
  • a torque sensor, an acceleration sensor, an inertial measurement unit (IMU), a motor input current sensor, etc. can be used as the contact detection sensor 30, for example, a torque sensor, an acceleration sensor, an inertial measurement unit (IMU), a motor input current sensor, etc. can be used.
  • the torque sensor it is possible to use, for example, a strain gauge that detects the torque generated in the axis of each joint of the arm portion 20.
  • a strain gauge that detects the torque generated in the axis of each joint of the arm portion 20.
  • various types of acceleration sensors such as a capacitance type and a piezoresistive type installed on the grip part 10 or the arm part 20 can be used.
  • An inertial measurement unit is a device that detects three-dimensional inertial motion (translational motion and rotational motion in three orthogonal axes directions), and includes an acceleration sensor that detects translational motion and an angular velocity (gyro) that detects rotational motion. and a sensor.
  • an acceleration sensor that detects translational motion
  • an angular velocity gyro
  • the angle or angular change of the object can be acquired.
  • the wrist portion of the gripping portion 10 may be There may be redundancies in the operation of the parts.
  • the arm section 20 may be further operated while the product T is in contact with the shelf board 411. If a further force is applied to the gripper 10, it will cause some displacement in the wrist portion of the gripper 10, changing the attitude (ie, angle) of the gripper 10. Therefore, by detecting such an angular change that may occur in the grip part 10 during the operation of placing the product T on the shelf board 411 by using the IMU installed in the grip part 10, it is possible to prevent the product T from coming into contact with the shelf board 411. It is possible to detect what has happened.
  • the product T held by the gripping part 10, the gripping part 10, or the arm part 20 can be moved to the wall of the display shelf 410 or It is possible to detect contact with obstacles such as pillars.
  • the motor input current sensor can be configured, for example, by a control section 151 (see FIG. 5), which will be described later.
  • the two first cameras 50R and 50L are arranged on the left and right sides of the arm section 20, respectively.
  • the first camera 50L attached to the first side surface 23a on the left side of the arm section 20 is oriented in a first direction A1 along the direction perpendicular to the extending direction Ax of the arm section 20 ( (See Figure 4).
  • the first camera 50L is mainly used to photograph the display shelf 410.
  • the first camera 50R attached to the second side surface 23b which is a surface parallel to the first side surface 23a and is on the right side of the arm portion 20 opposite to the first side surface 23a, is mounted in the first direction. It is oriented in a second direction A2 opposite to A1.
  • the first camera 50R is mainly used to photograph the inventory shelf 420. By arranging the first cameras 50R and 50L in opposite directions, the first cameras 50R and 50L can be used to open the display shelf 410 and the inventory shelf 420, respectively, while keeping the arm portion 20 in the same posture. can be photographed at the same time.
  • the performances of the first cameras 50R and 50L may be the same or different, in order to simplify the explanation, an example in which both cameras have the same performance will be described below.
  • the purpose and photographing conditions for photographing the display shelf 410 are different from the purpose and photographing conditions for photographing the inventory shelf 420, it is natural to use cameras with different performance according to the respective purposes and conditions. good.
  • the first cameras 50R and 50L include, for example, an image sensor that generates a captured image in which pixels are arranged two-dimensionally (an example is an RGB image), and a depth sensor that is a distance detection device that generates distance data. It may be.
  • the depth sensor is not limited to a specific method as long as it is capable of acquiring distance data to an object. For example, a stereo lens method or a LiDAR (Light Detection and Ranging) method can be used.
  • the depth sensor may be one that generates a depth image, for example.
  • either or both of the first cameras 50R and 50L may acquire distance data using, for example, an ultrasonic element.
  • first camera 50L is oriented in the first direction A1, which means that the imaging direction of the image sensor and depth sensor of the first camera 50L is the direction A1.
  • first camera 50R is oriented in the second direction A2 means that the imaging direction of the image sensor and the depth sensor of the first camera 50R is the direction A2.
  • the orientation A1 and the orientation A2 do not necessarily have to be 180° opposite, but may be any orientation that allows the product display shelf 410 and the inventory shelf 420 to be imaged.
  • first cameras 50R and 50L may be provided on the grip portion 10.
  • the first cameras 50R and 50L do not necessarily need to be provided on the same member; for example, the first camera 50R may be attached to one of the link members 21 to 23, and the first camera 50L may be provided on the same member. It may be attached to other members among the link members 21 to 23.
  • the coordinate system becomes common compared to when the cameras 50R and 50L are installed on separate link members, so image processing This has the advantage of simplifying the calculation.
  • the second camera 60 photographs the state in which the gripping section 10 is gripping the product T and the relative positional relationship between the product T gripped by the gripping section 10 and the shelf board 411 of the display shelf 410. It is used for.
  • the second camera 60 also includes, for example, an image sensor that generates a captured image in which pixels are arranged two-dimensionally (an RGB image), and a depth sensor that generates distance data. It may also include a sensor.
  • the second camera 60 is installed at a position close to the grip part 10 under the link member 23 closest to the grip part 10 among the link members 21 to 23 of the arm 20, and has an image sensor and The imaging direction of the depth sensor is directed directly below the link member 23 and the grip portion 10 (-z direction in FIGS. 3 and 4) or toward the lower front (slightly more toward the +x direction than the -z direction in FIGS. 3 and 4). There is. Thereby, the second camera 60 can photograph at least the lower part of the product T held by the grip part 10 and the shelf board 411 located in front of the grip part 10.
  • the third camera 70 is, for example, a camera that changes direction and photographs a predetermined object in response to an operation by an operator at a remote location.
  • the third camera 70 is attached to a part of the elevating mechanism 90, as an example.
  • the third camera 70 is capable of horizontal movement and vertical movement in the space between the display shelf 410 and the inventory shelf 420 as the horizontal movement mechanism 80 and the lifting mechanism 90 operate.
  • the portion of the elevating mechanism 90 to which the third camera 70 is attached is rotatable around the support 95, and as that portion rotates, the third camera 70 moves in the left-right direction around the support 95. It is configured so that it can rotate and move to photograph display shelves 410 and inventory shelves 420 as needed.
  • the third camera 70 may be of a stereo lens type, for example. Although not limited to this, the third camera 70 may have a wider angle of view than the first cameras 50R, 50L and the second camera 60.
  • the horizontal movement mechanism 80 has a base plate 81 and a drive mechanism (not shown).
  • the base plate 81 supports the lifting mechanism 90 and slides along a rail (not shown) installed between a display shelf 410 and an inventory shelf 420 in the store.
  • the drive mechanism includes a motor, rollers, etc., and operates based on a control signal from the control device 150 (see FIG. 5) to move the elevating mechanism 90 to a predetermined position along the rail.
  • the elevating mechanism 90 includes a column 95, a first elevating mechanism 91, and a second elevating mechanism 92.
  • the support column 95 is fixed on the base plate 81 and extends in the vertical direction.
  • the first elevating mechanism 91 has a drive mechanism (not shown).
  • the drive mechanism (not shown) includes a motor, a linear guide, etc., and operates based on a control signal from the control device 150 (see FIG. 5). By operating a drive mechanism (not shown), the first elevating mechanism 91 moves up and down in the vertical direction along the column 95.
  • the upper portion of the first elevating mechanism 91 to which the third camera 70 is attached is configured to be rotationally driven in the left-right direction about the support 95.
  • the second lifting mechanism 92 is held by the first lifting mechanism 91.
  • One end of the arm portion 20 is attached to the second elevating mechanism 92 .
  • the second elevating mechanism 92 has a drive mechanism (not shown).
  • the drive mechanism (not shown) includes a motor, a linear guide, etc., and operates based on a control signal from the control device 150 (see FIG. 5). By operating the drive mechanism (not shown), the second elevating mechanism 92 also moves up and down in the vertical direction.
  • the elevating mechanism 90 uses the first elevating mechanism 91 to move the arm portion 20 and the gripping portion 10 to a height close to the height at which the product T can be gripped. Then, the heights of the arm portion 20 and the grip portion 10 are finely adjusted by the second elevating mechanism 92.
  • a first elevating mechanism 91 and a second elevating mechanism 92 are provided as elevating mechanisms, but in other aspects of the present disclosure, a configuration in which only one elevating mechanism is provided is provided. You can also use it as
  • control device 150 includes a control section 151, a storage section 160, an input section 191, an output section 193, and a communication section 195.
  • control device 150 is depicted as a single element in FIG. 5, the control device 150 does not necessarily have to be physically one element, and may be composed of multiple physically separated elements. good.
  • the input unit 191 is a device for receiving input from an operator.
  • the input unit 191 may be configured with a device such as a keyboard, a mouse, a touch panel, or the like for inputting information to the computer.
  • the input unit 191 may include an audio input device such as a microphone. Further, the input unit 191 may include a gesture input device that performs image recognition to identify the movement of the operator.
  • the output unit 193 is for the product moving device 1 to output an alert to a store clerk or the like, and is configured, for example, by one or a combination of a speaker, a display, a light emitting device, and a vibration device.
  • the communication unit 195 has a function of receiving data from the outside and a function of transmitting data to the outside.
  • the communication unit 195 receives an input from the operator via the operation unit of an external device (not shown), and the control device 150 controls the product moving device based on the input. 1 to perform a predetermined action.
  • communication between the operation unit of the external device and the communication unit 195 may be either wired communication or wireless communication.
  • the operating section 191 may be a device worn by the operator.
  • This device includes a display device (not shown) and an operation device (not shown).
  • the display device may be, for example, a head-mounted display (HMD) that has a display that is visible to the operator.
  • the operating device may, for example, include one or more input sensors capable of detecting movements of a body part (eg, hand or arm) of the operator.
  • the storage unit 160 includes temporary or non-temporary storage media such as ROM (Read Only Memory), RAM (Random Access Memory), and HDD (Hard Disk Drive).
  • the storage unit 160 stores computer programs executed by the control unit 151, learned models described below, and the like.
  • the computer program stored in the storage unit 160 includes instructions for implementing a method for controlling the product moving device 1 by the control unit 151, which will be described later with reference to FIGS. 8, 9, and the like.
  • the storage unit 160 includes an acquired data storage unit 160a and a reference data storage unit 160b.
  • the acquired data storage unit 160a stores, for example, captured image data captured by each of the cameras 50R, 50L, 60, and 70.
  • the reference data storage unit 160b stores various data necessary for the operation of the product moving device 1. These various data include, for example, data regarding the product display shelf 410 and the inventory shelf 420 (each shape data, position data, lane coordinate data, etc.), and data regarding the product T (shape data, position data, etc.).
  • data regarding the distance between the center position of each lane on each shelf board 411 of the display shelf 410 and the left and right partition plates 412 is stored in the reference data storage unit 160b.
  • the control unit 151 is composed of, for example, one or more CPUs (Central Processing Units).
  • the control unit 151 functions as an operation control unit 152, an imaging control unit 153, and an image data processing unit 154 by executing a computer program stored in the storage unit 160.
  • the operation control unit 152 generates control signals that operate the gripping unit 10, the arm unit 20, the horizontal movement mechanism 80, the elevating mechanism 90, and each part of the control device 150.
  • the operation control unit 152 generates a control signal by referring to input signals from the operation unit 191 and various data stored in the storage unit 160.
  • the control signal may be generated using the processing results in the image data processing section 155.
  • the operation control unit 152 also transmits and receives data via the communication unit 195 and performs predetermined output via the output unit 193.
  • the imaging control unit 153 controls the operation of each camera 50R, 50L, 60, and 70.
  • the imaging timing of each camera 50R, 50L, 60, 70, etc. may be determined using, for example, data stored in advance in the reference data storage section 160b.
  • the image data processing unit 155 performs various information processing using the captured image data and distance data (depth data) captured by the cameras 50R, 50L, 60, and 70. As an example, the image data processing unit 155 analyzes the image data taken by the first camera 50R to identify the products lined up on the inventory shelf 420.
  • the image data processing section 155 includes a display availability determining section 155a, a grasping target specifying section 155b, a lane specifying section 155c, and a product position specifying section 155d.
  • the display availability determining unit 155a determines, for example, a space where further products can be placed behind the last product T lined up on the display shelf 410, based on at least one of the captured image data and distance data captured by the first camera 50L. It is determined whether Sp (see FIG. 6) exists.
  • FIG. 6 is an image of the display shelf 410 taken by the first camera 50L of the product moving device 1. If the space Sp exists, it means that the product T needs to be replenished. Therefore, when the space Sp exists, the display availability determining unit 155a sends a notification to the operation control unit 151 to the effect that the product T should be replenished on the shelf board 411 below the space Sp. When the operation control unit 151 receives this notification, it performs a replenishment operation for the product T.
  • the grasping target specifying unit 155b determines whether or not there is a replenishment target product to be grasped on the inventory shelf 420, based on at least one of the captured image data and distance data captured by the first camera 50R, and the replenishment target product. At least one of identifying the size or shape of the product and determining the gripping position of the product to be replenished is performed. In the case of a product T having a cap member Tb as shown in FIG. 1, the gripping target specifying unit 155b sets the gripping position near the cap member Tb, for example. On the other hand, if the product T is a canned beverage or the like that does not have a cap member, the gripping target specifying unit 155b may set the side portion of the container as the gripping position.
  • the lane identifying unit 155c analyzes the image of the rear surface of the display shelf 410 taken by the product moving device 1, and determines the coordinates of each lane on the shelf board 411 and the center position of each lane (the center position of each lane in the width direction). Identify.
  • the lane specifying unit 155c may further specify the coordinates of the product T on the display shelf 410. Furthermore, the lane specifying unit 155c may add an image such as a dot to a position within the image corresponding to the specified coordinates.
  • the product position specifying unit 155d detects the second camera 60 when the product T held by the gripping unit 10 is moved above the product placement position (lane for placement) on the shelf board 411 of the product display shelf 410. Analyzes the captured image data taken by and identifies the positional relationship between the reference position of the lane where products are placed on the shelf board 411 and the products placed above that lane in the arrangement direction of the plurality of lanes. .
  • FIG. 7 is a diagram showing an example of a captured image taken when the product T gripped by the gripper 10 is moved above the product placement position on the shelf board 411 of the display shelf 410.
  • the product position specifying unit 155d determines, for example, the bottom surface of the product T held by the gripping unit 10, based on the contour shape of the lower part of the product T appearing in the captured image.
  • a product center line Tc that passes through the substantial center and extends in the extending direction of the grip portion 10 and the arm portion 20 (the x-axis direction shown in FIGS. 3 and 4) is generated on the captured image as the position of a predetermined portion of the product T. do.
  • the product center line Tc is generated by, for example, identifying the most downwardly convex part of the outline of the lower part of the product T using an arbitrary image recognition technique, and passing through this part, which the product moving device 1 recognizes in advance. This can be done by generating a straight line extending in the x-axis direction in the coordinate system.
  • the product position specifying unit 155d specifies the position of the partition plate 412 on the shelf board 411 appearing on the captured image as a reference position using any image recognition technique.
  • the product position specifying unit 155d locates the space between the partition plate 412 on the shelf board 411 and the product center line Tc based on the product center line Tc generated as described above on the captured image and the identified partition plate 412.
  • the distance D in the horizontal direction (the y-axis direction shown in FIGS. 3 and 4) is determined. If there are partition plates 412 on both sides of the product center line Tc in the captured image, the product position specifying unit 155d calculates the distance D to at least one of the left and right partition plates 412.
  • the product position specifying unit 155d stores the distance D between the product center line Tc obtained as described above and the partition plate 412 of the lane to be displayed on the shelf board 411 in the reference data storage unit 160b. By comparing the distance between the center position of the lane and the partition plate 412, it can be determined by how much distance the product center line Tc is deviated from the center position of the lane in either the left or right direction. I can do it.
  • the product position specifying unit 155d refers to the lane center position (sign Lc in FIG.
  • the lane specifying unit 155c uses the lane center position Lc as a reference position to set the product center line Tc and the lane center position Lc. It may be configured to directly compare the product center line Tc and specify the distance in which direction the product center line Tc is deviated from the center position Lc of the lane to the left or right.
  • the product center line Tc is specified and used as the position of the predetermined portion of the product T is illustrated above, this is the position of the product T that can also be used as the location of the predetermined portion of the product T in this embodiment. Not limited to. For example, the position of either side of the product T may be used as the position of the predetermined portion.
  • the product position specifying unit 155d uses the depth data to detect the positions of the product T, the shelf board 411, and the partition plate 412. Good too.
  • the operation control unit 152 places the product T at the correct product placement position on the shelf board 411 (on the lane between the partition plates 412) without touching the partition plate 412, as necessary. After correcting the position of the product T by moving the grip part 10 so as to release the product T, the grip part 10 is operated so as to release the product T.
  • FIG. 8 is a flowchart showing the replenishment operation of the product T by the product moving device 1.
  • step S11 the rear surface of the display shelf 410 is photographed by the first camera 50L installed on the arm section 20 of the product moving device 1.
  • the product moving device 1 moves the arm portion 20, the horizontal moving mechanism 80, and the elevating mechanism 90 so that each stage of the display shelf 410 can be photographed with the first camera 50L.
  • the product moving device 1 operates the first camera 50L to obtain an image of the rear surface of the display shelf 410 and obtain distance data to the products T lined up on the display shelf 410.
  • step S12 a determination is made as to whether or not it can be displayed.
  • the displayability determination unit 155a in the image data processing unit 155 of the product moving device 1 analyzes the captured image of the rear surface of the display shelf, and determines which product T should be displayed on which shelf board 411. This is a step of determining whether it is possible to replenish (in other words, which products T need to be replenished).
  • the product moving device 1 acquires an image of the rear surface of the display shelf 410 as shown in FIG.
  • the lane identifying unit 155c in the image data processing unit 155 of the product moving device 1 identifies the lane on the shelf board 411 of the product display shelf 410 based on the image data captured by the first camera 50L. Furthermore, since the image data processing unit 155 of the product moving device 1 can acquire distance data to the product T (depth data Dep visualized in FIG. 6), the product in lanes “7” and “8” It is possible to recognize that a space Sp exists behind the product T for products whose display number is decreasing, such as product T.
  • the display availability determination unit 155a of the product moving device 1 determines whether there is a space Sp for the product T based on the distance data to the product T, and determines whether the product T can be further displayed in lanes “7” and “8”. judge. Through the process of step S12, it is determined which product T needs to be replenished on which shelf board 411 of the display shelf 410.
  • the method for determining whether a product requires replenishment is not limited to the above method, and various methods can be used. For example, it is determined what percentage of occupancy the product T is placed in a predetermined three-dimensional space, and if that value is less than a predetermined reference value, it is determined that the product T needs to be replenished. It's okay.
  • step S13 the inventory shelf 420 is photographed.
  • the product moving device 1 operates the arm section 20, the horizontal moving mechanism 80, the elevating mechanism 90, and the first camera 50R to photograph the inventory shelf 420 from the front side.
  • the product moving device 1 photographs the inventory shelves 420 one by one, and obtains captured images showing the inventory status of the products T.
  • the inventory shelf 420 does not need to be photographed after the display shelf 410 is photographed, and the inventory shelf 420 may be photographed before the display shelf 410 is photographed.
  • step S14 the image data processing unit 155 of the product moving device 1 analyzes the captured image of the inventory shelf 420 acquired in step S13, and identifies the products lined up on the inventory shelf 420. Furthermore, the grasping target specifying section 155b of the image data processing section 155 specifies the grasping position of the product.
  • the product moving device 1 acquires information indicating where the replenishment target product is held.
  • step S15 the product moving device 1 performs a product replenishment operation (pick and place operation) based on the acquired information.
  • the operation control section 152 of the control section 151 (see FIG. 5) of the product moving device 1 operates the arm section 20, the horizontal movement mechanism 80, and the lifting mechanism 90, and moves the grip section 10 to a predetermined position on the inventory shelf 420. to the target product for replenishment.
  • the gripping unit 10 grasps the pre-specified gripping position of the product to be replenished, and lifts the product to be replenished.
  • the operation control section 152 operates the arm section 20, the horizontal movement mechanism 80, and the lifting mechanism 90 to move the gripped product T to a predetermined placement position on the display shelf 410, and remove the product T from the gripping section 10. By releasing it, the product T is placed in a predetermined position. Thereafter, the product moving device 1 repeats the same pick-and-place operation to complete the replenishment of the products T.
  • step S15 the product replenishment operation (pick and place operation) in step S15 in this series of steps, the product T is placed on the product display shelf 410 with the bottom surface of the product T in contact with the top of the partition plate 412 of the shelf board 411. If the operation of placing the product on the shelf board 411 is performed, the product T may fall over or be tilted diagonally, which may hinder the display or replenishment of other products T.
  • This embodiment provides means for preventing the product T from coming into contact with the partition plate 412 of the shelf board 411 during the product replenishment operation (pick-and-place operation).
  • FIG. 9 is a flowchart for explaining a first operation example of the product moving device 1 of this embodiment.
  • step S21 the operation control unit 152 of the control unit 151 (see FIG. 5) of the product moving device 1 operates the gripping unit 10, the arm unit 20, the horizontal movement mechanism 80, and the lifting mechanism 90, and The product T to be replenished is grasped by the grip part 10 and the product T is moved to above the placement position of the display shelf 410.
  • This step S21 corresponds to the operation before releasing the product T from the gripping section 10 in step S15 described above.
  • step S22 the imaging control unit 153 of the control unit 151 (see FIG. 5) of the product moving device 1 performs imaging using the second camera 60.
  • the second camera 60 acquires a captured image and distance data including at least the lower part of the product T gripped by the gripper 10 and the shelf board 411 below the lower part.
  • the acquired captured images and distance data are stored in the acquired data storage section 160a of the storage section 160.
  • the captured image acquired by the second camera 60 includes at least the lower part of the product T held by the gripping unit 10, and a shelf board 411 and a partition plate 412 located below the product T. at least a portion of.
  • step S23 the product position specifying unit 155d in the image data processing unit 155 of the product moving device 1 identifies the product T located above the placement position (lane) of the product T on the shelf board 411, and The positional relationship between the lane and the reference position of the lane is determined.
  • a product center line passes through the center of the bottom surface of the product T held by the gripping part 10 and extends in the direction in which the gripping part 10 and the arm part 20 extend (the x-axis direction shown in FIGS. 3 and 4). Tc is generated on the captured image.
  • the product center line Tc can be generated by, for example, identifying the most downwardly convex part of the outline of the lower part of the product T using any image recognition technology, and moving the product through that part. This can be done by generating a straight line extending in the x-axis direction in a coordinate system recognized in advance by the device 1.
  • the product position specifying unit 155d further specifies the partition plate 412 on the shelf board 411 appearing on the captured image using an arbitrary image recognition technique.
  • the product position specifying unit 155d determines the distance D in the horizontal direction (y-axis direction shown in FIGS. 3 and 4) between the partition plate 412 on the shelf board 411 and the product center line Tc. If there are partition plates 412 on both sides of the product center line Tc in the captured image, the product position specifying unit 155d calculates the distance D to at least one of the left and right partition plates 412.
  • the distance between the center of each lane on the shelf board 411 and the left and right partition plates 412 is stored in advance in the reference data storage unit 160b and is known in the system of the product moving device 1. Therefore, the product position specifying unit 155d stores the distance D between the product center line Tc obtained as described above and the partition plate 412 of the lane to be displayed on the shelf board 411 in the reference data storage unit 160b. By comparing the distance between the center position of the lane and the partition plate 412, it can be determined by how much distance the product center line Tc is deviated from the center position of the lane in either the left or right direction. I can do it.
  • the center of the product T is the center of the lane. If it is specified that the product T is deviated from the position by 10 mm in the direction approaching the partition plate 412, or if the calculated distance D is 35 mm, the center of the product T is shifted in the direction away from the partition plate 412 from the center position of the lane. It is determined that there is a deviation of 5 mm.
  • step S24 the operation control section 152 of the product moving device 1 operates the gripping section 10, the arm section 20, etc. in order to correct the positional deviation of the product T with respect to the center position of the lane.
  • the operation control unit 152 determines whether the center of the product T held by the gripping unit 10 is at the lane center position based on the positional relationship between the lane center position specified by the product position specifying unit 155d in step S23 and the center of the product T.
  • the grip section 10, arm section 20, etc. are operated to move the product T in the left-right direction (direction along the y-axis in FIGS. 3 and 4) until it is located at .
  • the product T is moved 20 mm in the direction away from the partition plate 412, or Alternatively, if it is determined that the product T is deviated from the center position of the lane by 15 mm in the direction away from the partition plate 412, the product T is moved 15 mm in the direction closer to the partition plate 412. As a result, the product T is placed above a position where its center substantially coincides with the center position of the lane.
  • the operation control unit 152 of the product moving device 1 performs the operation of releasing the product T from the gripping portion 10, which is the final operation of step S15 described above, and moves the product T to a predetermined position on the shelf board 411. Place it in the desired location (the lane where it will be displayed). Generally, the width of each lane on the shelf board 411 is set larger than the width of the product T to be displayed. Since some gap space is secured between the and the partition plate 412, even if the product T is placed on the corresponding lane of the shelf board 411 at that position, the bottom of the product T will not touch the partition plate 412. There will be no contact.
  • step S15 Even if the product T moved above the display position of the shelf board 411 in step S15 is deviated from the predetermined position, after performing the correction operation of the placement position of the product T in step S24, By performing the action of releasing the product T from the gripping section 10 that is performed at the end of step S15, the product T can be placed on the shelf board 411 without causing the product T to come into contact with the partition plate 412 and fall. (on the lane to be placed).
  • step S24 if the product T moved above the placement position of the shelf board 411 in step S15 is deviated from the predetermined position, the correction operation of the placement position of the product T is not performed in step S24. Although described above, this correction operation may be omitted depending on the amount of deviation from the predetermined position.
  • the width of each lane on the shelf board 411 is generally set larger than the width of the product T to be displayed. Therefore, if the amount of deviation of the product T from the predetermined position is smaller than the predetermined distance, even if the product T is released from the grip part 10 and placed on the shelf board 411 in that state, the product T will not be placed on the partition plate 411.
  • the amount of deviation that allows the correction operation to be omitted can be set in advance in the operation control unit 152 of the product moving device 1, such as 3 mm or 5 mm, for example. If the deviation amount specified by the product position specifying unit 155d is within the above set distance, the operation control unit 152 performs an operation of releasing the product T from the gripping unit 10 without performing a position correction operation of the product T. You may.
  • step S24 when operating the gripping part 10, the arm part 20, etc. to correct the positional deviation of the product T with respect to the center position of the lane, depending on the case, the product T, the gripping part 10, or the arm part 20 may be moved to the display shelf 410.
  • a situation may arise in which the grip part 10, arm part 20, etc. cannot be moved any further due to contact with a wall, support, or the like. In such a situation, if you try to move the gripping part 10, arm part 20, etc. further to correct the position of the product T, the product T, the gripping part 10, or the arm part 20 may be damaged, or the wall of the display shelf 410 or the There is a risk of damage to the pillars, etc.
  • the operation control unit 152 controls the grip part 10, the arm part 20, etc. to correct the position of the product T.
  • the operation of releasing the product T from the gripping section 10 is performed.
  • the product moving device 1 may send a notification from the communication unit 195 to an external device (not shown) used by the operator indicating that the position correction operation is not possible.
  • an external device not shown
  • the operator of the device remotely controls the product moving device 1 using an external device, acquires image data from the second camera 60, confirms the position of the product T, and corrects the position as necessary. Therefore, it is possible to take measures such as remotely controlling the grip section 10, arm section 20, etc.
  • step S23 the case where the partition plate 412 on the shelf board 411 is used as the reference position for specifying the product position has been described, but in this embodiment, the partition can be used as the reference position for specifying the product position.
  • the position of the plate 412 is not limited to this.
  • the product position specifying unit 155d uses the center position Lc of each lane specified by the lane specifying unit 155c of the image data processing unit 155 as the reference position for specifying the product position, and the center line Tc of the product T specified as described above.
  • the distance from the center position Lc of the lane on which the product T is placed may be determined as the amount of positional deviation.
  • the operation control unit 152 performs a position correction operation for the product T so as to correct the distance (positional deviation amount) obtained in this way.
  • the product position specifying unit 155d of the product moving device 1 identifies the product T held by the gripping unit 10 and the product T based on the image data captured by the second camera 60.
  • the positional relationship with the placement position in the lane on the shelf board 411 to be placed is specified, and based on the identification result, the operation control section 152 of the product moving device 1 operates the gripping section 10, the arm section 20, etc.
  • the product position specifying unit 155d of the product moving device 1 uses a learned model generated by learning by machine learning to identify the product T held by the gripping unit 10 and the product.
  • a means is provided for specifying the positional relationship with the placement position in the lane on the shelf board 411 where the T is to be placed.
  • the trained model used to specify the positional relationship between the product T and the placement position on the shelf board 411 where the product T should be placed is when the gripping unit 10 places the product T on the shelf board 411.
  • the product T is photographed by the second camera 60 as described above while the product T is placed above the placement position by the grip unit 10 and the arm unit 20.
  • Various image data and/or depth data including the product T and the shelf board 411, and annotation information regarding the positional relationship between the product T and the placement position on the shelf board 411 associated with each data are used as teacher data.
  • image data and/or depth data including the product T gripped by the gripper 10 and the shelf board 411 can be generated by machine learning using an arbitrary learning device configured with a computer, using the image data and/or depth data as learning data.
  • Such a trained model can be generated, for example, by performing machine learning on a neural network composed of multiple layers, each layer including a neuron.
  • a neural network such as a convolutional neural network (CNN) having 20 or more layers may be used. Machine learning using such deep neural networks is called deep learning.
  • the trained model generated in this way is stored in the storage unit 160 of the product moving device 1 and implemented as a functional module of the product position specifying unit 155d of the product moving device 1.
  • FIG. 10 shows a photograph taken by the second camera 60 of the product moving device 1 of the product being held by the gripping unit 10 and placed above the placement position before being placed on the shelf board 411.
  • 4 is a conceptual diagram showing examples of various positional relationships between products T and placement positions on a shelf board 411.
  • FIG. 10 the outline of the peripheral surface of the bottom of the product T and the partition plate 412 forming the placement position (lane) on the shelf board 411 are schematically drawn in a state projected from above.
  • the center line Tc of the product T is shifted 15 mm to the left (y-axis direction) in the figure with respect to the center position Lc of the lane, which is the placement position on the shelf board 411.
  • the image data in the state shown in FIG. 10(a) is associated with "misalignment direction: y-axis direction, deviation amount: 15 mm, left side contact" as annotation information regarding the positional relationship of the product T with respect to the placement position on the shelf board 411. and used as training data.
  • the center line Tc of the product T is shifted 5 mm to the left (y-axis direction) in the figure with respect to the center position Lc of the lane, which is the placement position on the shelf board 411.
  • the image data in the state shown in 10(b) is associated with "misalignment direction: y-axis direction, deviation amount: 5 mm, no contact" as annotation information regarding the positional relationship of the product T with respect to the placement position on the shelf board 411. is used as training data.
  • the center line Tc of the product T is shifted by 10 mm to the right in the figure (in the -y axis direction) with respect to the center position Lc of the lane, which is the placement position on the shelf board 411.
  • 10(c) includes annotation information regarding the positional relationship of the product T with respect to the placement position on the shelf board 411, such as "misalignment direction: -y axis direction, deviation amount: 10 mm, right side contact. " is associated with the teacher data.
  • the training data includes a plurality of image data and/or depth data indicating various positional relationships between the product T placed above the placement position and the placement position on the shelf board 411, and each image data. It is composed of annotation information regarding the positional relationship between the associated placement position on the shelf board 411 and the product T.
  • the product position specifying unit 155d of the product moving device 1 in which the above-described learned model is implemented as a functional module uses the second camera 60 to capture images in place of the process in step S23 described in the first operation example.
  • the learned model is used to calculate the product T placed above the placement position on the shelf board 411 and the placement position on the shelf board 411 using the learned model. Identify the positional relationship.
  • the above-mentioned positional relationship is specified using a trained model, so when the above-mentioned positional relationship is specified from image data etc. by executing processing using image recognition technology as in the first operation example, In comparison, processing speed can be increased while reducing calculation cost.
  • the operation control unit 152 of the product moving device 1 in this example also controls the positional relationship between the lane center position Lc identified as described above and the center line Tc of the product T, as in step S24 described in the first operation example. Based on this, the gripping section 10, arm section 20, etc. are operated so as to correct the positional deviation of the center of the product T with respect to the center position Lc of the lane, and the center of the product T held by the gripping section 10 is located at the center of the lane. The product T is moved in the left-right direction (direction along the y-axis in FIGS. 3 and 4) until it is located at the desired position. Then, the operation control unit 152 of the product moving device 1 performs an operation of releasing the product T from the gripping unit 10, and places the product T at a predetermined position on the shelf board 411 (the lane to be displayed).
  • the product position specifying unit 155d of the product moving device 1 locates the shelf according to the magnitude of the probability value generated as a result of processing using the learned model described above.
  • the product T may be configured to specify the positional relationship between the product T placed above the placement position and the placement position on the shelf board 411 before being placed on the placement position on the board 411. .
  • the product position specifying unit 155d uses the above-mentioned learned model to place the image data above the placement position on the shelf board 411.
  • the position of the product T placed in is (1) the center area of the lane at the loading position (no contact with the partition plate 412), (2) contact with the partition plate 412 on the left side of the screen of the lane, (3) the area of the lane.
  • the occurrence probability values for the three states of contact with the partition plate 412 on the right side of the screen are determined.
  • the product position specifying unit 155d adopts the state with the largest occurrence probability value among the acquired occurrence probability values regarding the three states as the position of the product T in the image data to be processed.
  • the operation control unit 152 of the product moving device 1 corrects the positional deviation of the center of the product T with respect to the center position Lc of the lane according to the content of the position correction operation associated in advance with each state of the position of the product T and its occurrence probability value. , the gripping section 10, arm section 20, etc. are operated, and the product T is moved in the left-right direction (along the y-axis in FIGS. direction). Then, the operation control unit 152 of the product moving device 1 performs an operation of releasing the product T from the gripping unit 10, and places the product T at a predetermined position on the shelf board 411 (the lane to be displayed).
  • Table 1 below shows an example of a look-up table that associates each state of the position of the product T, its occurrence probability value, and the content of the position correction operation. This lookup table is stored in advance in the storage unit 160 of the product moving device 1.
  • the state with the largest occurrence probability value among the three states is "(1) central region", and the occurrence probability value is 0.9 to 1.0, 0.8 ⁇ less than 0.9, 0.7 to less than 0.8, and 0.6 to less than 0.7, the product T is approximately in the center of the predetermined position on the shelf board 411 (the lane to be displayed). Since there is a probability of 60% or more that the product T is not in contact with either of the left and right partition plates 412, the position correction operation content is set as "no position correction".
  • the operation control unit 152 does not perform an operation to correct the position of the product T, but performs an operation to release the product T from the gripping unit 10 at that position, and moves the product T to a predetermined position on the shelf board 411. Place it in the desired location (the lane where it will be displayed).
  • the movement distance for position correction of product T is the occurrence probability value. It will be set accordingly. If the probability of occurrence is 0.9 to 1.0, which is the highest, there is a high possibility that product T is placed above the partition plate on the left side of the lane, so the distance traveled to the center of the lane is is set to a relatively large distance of 15 mm to the right.
  • the probability of occurrence decreases from 0.8 to less than 0.9, from 0.7 to less than 0.8, and from 0.6 to less than 0.7
  • the product T In other words, the probability that product T is placed at the center of the lane is lower, so the movement distance to the center of the lane associated with these occurrence probability values is 10 mm, 5 mm, and 3 mm.
  • the values are set sequentially smaller as follows. If the state with the largest occurrence probability value among the three states is "(3) Contact with the partition plate on the right side of the lane", it is set in the same way as this, but the movement direction for correcting the position of product T is this. The opposite direction is "toward the left.”
  • the communication unit 195 of the product moving device 1 notifies an external device (not shown) used by the operator that the location cannot be specified.
  • the operator of the device remotely controls the product moving device 1 using an external device, acquires image data from the second camera 60, confirms the position of the product T, and corrects the position as necessary. Therefore, it is possible to take measures such as remotely controlling the grip section 10, arm section 20, etc.
  • the product moving device 1 may send a notification from the communication unit 195 to an external device (not shown) used by the operator indicating that the location cannot be determined.
  • the product position specifying unit 155d The state with the largest value may be adopted as the position state of the product T. Even if the occurrence probability values are all 0.6 or higher, as in the former case, the criteria for issuing a notification indicating that the location cannot be determined (for example, the occurrence probability values for the three states must be within a 10% error from each other).
  • the standard when adopting the state with the largest value as the position state of the product T (for example, when the state with the largest value is less than 0.6 (e.g., a large occurrence probability value is 10 times or more of other occurrence probability values) can be set as appropriate.
  • Each range of the occurrence probability value, the position correction operation associated therewith, and the movement distance thereof are not limited to the examples listed in Table 1, and can be set as appropriate depending on the implementation details.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)

Abstract

本開示の一実施形態によれば、商品を把持する把持部１０を備えたアーム部２０と、陳列棚の棚板の上に設けられた商品を陳列する複数のレーンのうちの１つのレーンに商品を載置するために把持部１０に把持されてアーム部２０によってレーンの上方に配置された商品の少なくとも一部と、棚板の陳列位置を含む少なくとも一部とを含む画像データを取得する撮像部６０と、制御部１５０とを備えた商品移動装置１が提供される。制御部は１５０は、画像データに基づいて、棚板の商品を載置するレーンの基準位置と、レーンの上方に配置された商品との複数のレーンの配列方向における位置関係を特定することと、特定された位置関係に基づいて、アーム部２０を動作させて基準位置に対する商品の位置を補正することと、を実行するように構成されている。

Description

商品移動装置及びその制御方法
　本開示は、商品移動装置及びその制御方法に関する。
　特許文献１には、業務の省力化のため商品の補充を無人で行う商品補充システムが開示されている。この商品補充システムは、補充対象の商品を撮影する撮影装置と、商品を移動させる多関節ロボット装置とを有している。多関節ロボット装置は、補充対象の商品を予め配置されている所定の位置からピックアップして陳列棚へと移動させる。
特開２０１８－１１０７５５号公報
　特許文献１のようなシステムでは、一般に、システムが画像認識技術等によって認識する陳列棚の位置と、現実の陳列棚の位置との間に誤差が生じることがある。そのような誤差が生じている状態で多関節ロボット装置が物品を移動させて陳列棚上の移動先の位置に載置する動作を実行すると、本来置かれるべき陳列棚上の位置からずれた位置に物品が置かれることとなる。特許文献１にも示されているように、陳列棚には陳列レーンを仕切る仕切り板が設けられていることがあり、物品がそのような仕切り板に接触する位置に載置されると物品が転倒してしまう。
　本開示の目的は、商品の移動先の位置が意図した位置と異なる場合に、商品の移動先の位置を補正することを可能にする商品移動装置等を提供することにある。
　本開示の一態様によれば、在庫棚に載置された商品を在庫棚と異なる陳列棚に移動する商品移動装置であって、商品を把持する把持部を備えたアーム部と、陳列棚の棚板の上に設けられた商品を陳列する複数のレーンのうちの１つのレーンに商品を載置するために把持部に把持されてアーム部によってレーンの上方に配置された商品の少なくとも一部と、棚板の陳列位置を含む少なくとも一部とを含む画像データを取得する撮像部と、記把持部、アーム部及び撮像部の動作を制御する制御部と、を備えた商品移動装置が提供される。制御部は、画像データに基づいて、棚板の商品を載置するレーンの基準位置と、レーンの上方に配置された商品との、複数のレーンの配列方向における位置関係を特定することと、特定された位置関係に基づいて、アーム部を動作させて基準位置に対する商品の位置を補正することと、を実行するように構成されている。
　本開示の他の特徴事項および利点は、例示的且つ非網羅的に与えられている以下の説明及び添付図面から理解することができる。
　本開示によれば、商品の移動先の位置が意図した位置と異なる場合に、商品の移動先の位置を補正することを可能にする商品移動装置等が提供される。
店舗内の棚の配置および店舗内に配置された商品移動装置を模式的に示す平面図である。 図（ａ）は陳列棚を前面側から見た図であり、図（ｂ）は陳列棚を後面側から見た図である。 商品移動装置の構成を模式的に示す側面図である。 商品移動装置のアーム部先端の周辺構造を示す斜視図である。 商品移動装置の構成を示すブロック図である。 商品移動装置の第１のカメラ（左側）によって撮影された陳列棚の画像である。 把持部によって把持された商品が陳列棚の棚板の商品載置位置の上方に移動されたときに撮影される撮像画像の一例を示す図である。 商品移動装置による商品の補充動作を示すフローチャートである。 商品移動装置の第１の動作例を説明するためのフローチャートである。 商品移動装置の第２のカメラで撮影される、把持部で把持され、棚板上の載置位置に載置される前に載置位置の上方に配置された商品と、棚板上の載置位置との種々の位置関係の例を示す概念図である。
　以下、本開示の実施の形態について図面を参照して説明する。
＜店舗の配置構成＞
　最初に、店舗の配置構成について説明する。図１は、店舗内の棚の配置および店舗内に配置された商品移動装置を模式的に示す平面図である。図２（ａ）は陳列棚を前面側から見た図であり、同図（ｂ）は陳列棚を後面側から見た図である。
　図１に示すように、店舗内は、店内スペースＳＨ１とバックヤードスペースＳＨ２とに分けられている。店内スペースＳＨ１は、客が商品Ｔの選択および購入を行うスペースである。バックヤードスペースＳＨ２は、商品Ｔの在庫が保管されるスペースである。店舗内には、陳列棚４１０と、在庫棚４２０と、商品移動装置１とが配置されている。
　陳列棚４１０は、図２（ａ）及び（ｂ）に示すように、複数の棚板４１１（陳列棚の段ともいう）を有している。棚板４１１の上には複数の種類の商品Ｔが配置される。例えば、同じ種類の商品Ｔが２列または３列に並べられる。商品Ｔは、１列のみで並べられていてもよい。各棚板４１１の上面には、各列の商品Ｔを仕切る複数の仕切り板４１２が設けられている。図２では同じ種類の商品Ｔが２列に並べられる例が図示されており、この例においては商品Ｔの２列毎に仕切り板４１２が設けられている。仕切り板４１２の配置はこれに限られず、仕切り板４１２は１列又は２以上の列の間隔で配置することが可能である。
　陳列棚４１０の前面は店内スペースＳＨ１に面しており、客が商品Ｔを陳列棚４１０の前面側から取ることができるようになっている。棚板４１１は、陳列棚４１０の前面側が後面側よりも相対的に低くなるように傾斜している。これにより、客が商品Ｔを取ると、その商品Ｔの後ろに並べられていた他の商品Ｔが棚板４１１上を滑って前面側に移動する。
　陳列棚４１０の後面はバックヤードスペースＳＨ２に面しており、店員または商品移動装置１が、商品Ｔを陳列棚４１０の後面側から陳列棚４１０に補充する。図示は省略するが、陳列棚４１０の前面および後面にはドアが設けられていてもよい。図１では図示の簡略化のために陳列棚４１０が１つのみ描かれているが、店舗内には複数の陳列棚４１０が配置されていてもよい。
　在庫棚４２０は、バックヤードスペースＳＨ２内において、陳列棚４１０に向かい合うように配置されており、在庫棚４２０の前面と陳列棚４１０の後面とは互いに対向している。在庫棚４２０は、陳列棚４１０と同様に、高さ方向に配置された複数の棚板（段）を有している。在庫棚４２０の棚板には、陳列棚４１０に補充すべき商品である補充対象商品が並べられる。補充対象商品を並べるのは、店員であってもよいし、商品移動装置１であってもよい。
＜商品移動装置１の構成＞
　商品移動装置１について、図１、図３～図５を参照して以下に説明する。図３は、商品移動装置１の構成を模式的に示す側面図である。図４は、商品移動装置１のアーム部先端の周辺構造を示す斜視図である。図５は、商品移動装置１の構成を示すブロック図である。
　商品移動装置１は、把持部１０と、アーム部２０と、接触検知センサ３０と、第１のカメラ５０Ｒ，５０Ｌと、第２のカメラ６０と、第３のカメラ７０と、水平移動機構８０と、昇降機構９０と、制御装置１５０とを有する。商品移動装置１は、陳列棚４１０と在庫棚４２０との間のスペースを移動するロボットである。商品移動装置１は、在庫棚４２０内の商品Ｔを把持部１０で把持し、その後、把持した商品Ｔを陳列棚４１０のその商品の陳列位置（その商品Ｔを陳列するレーン）へと移動させる。
　把持部１０は、図４に示すように、対象物を把持するための一対の把持部材１１ａ，１１ｂを有している。一対の把持部材１１ａ，１１ｂは、ペットボトル飲料である商品Ｔのキャップ部材Ｔｂの付近を把持可能であるとともに、缶飲料である商品Ｔの外周部を把持可能な形状を有している。把持部１０は、一対の把持部材１１ａ，１１ｂで構成されるもの以外にも、対象物を吸着して保持するための吸着構造を有するものであってもよいし、粘着力や磁力等を利用して対象物を保持する構造を有するものであってもよい。
　アーム部２０は、複数のリンク部材２１，２２，２３を有している。複数のリンク部材２１，２２，２３は、多関節ロボットアームを構成する。多関節ロボットアームは、一例として、Ｘ軸方向、Ｙ軸方向、およびＺ軸方向のそれぞれに沿う直線方向に自由度を持ち、かつ、Ｘ軸周り、Ｙ軸周り、およびＺ軸周りのそれぞれの方向に自由度を持つ６軸のアームであってもよい。多関節ロボットアームは、他にも、直交座標系ロボットアーム、極座標系ロボットアーム、円筒座標系ロボットアーム、スカラ型ロボットアームなど任意の機構を有してもよい。アーム部２０の一端部は昇降機構９０に固定されている。アーム部２０の先端部には把持部１０が設けられている。アーム部２０の動作は、制御装置１５０によって制御される。
　アーム部２０は、それぞれのリンク部材２１，２２，２３を動かすことにより把持部１０を在庫棚４２０側に移動させたり、陳列棚４１０側に移動させたりすることができる。アーム部２０の向きは特定の方向に固定されてはないが、説明の都合上、各リンク部材２１，２２，２３を伸ばした方向をアーム部２０の延在方向Ａｘという（図４参照）。アーム部２０は、把持部１０を商品Ｔに向けて前進させて商品Ｔの把持を行う。アーム部２０の延在方向Ａｘは、把持動作における把持部１０の前進方向に相当する。
　接触検知センサ３０は、把持部１０が把持した商品Ｔを陳列棚４１０の棚板４１１上に載置する際に、把持部１０が把持した商品Ｔ、把持部１０若しくはアーム部２０が陳列棚４１０の壁や支柱等の障害物に接触したことを検知するセンサである。接触検知センサ３０には、例えば、トルクセンサ、加速度センサ、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）、モータ入力電流センサ等を用いることができる。
　トルクセンサとしては、例えば、アーム部２０の各関節の軸に発生するトルクを検出するひずみゲージを用いることが可能である。加速度センサとしては、把持部１０若しくはアーム部２０に設置される静電容量型やピエゾ抵抗型等の種々のタイプの加速度センサを用いることができる。
　慣性計測装置（ＩＭＵ）は、３次元の慣性運動（直行３軸方向の並進運動および回転運動）を検出する装置であり、並進運動を検出する加速度センサと、回転運動を検出する角速度（ジャイロ）センサとを備える。このうち、ジャイロセンサで角速度を検出することにより、対象物の角度ないし角度変化を取得することができる。例えば、把持部１０の手首部分の駆動伝達手段としてギアあるいはギア及び歯付きベルトが用いられている場合には、ギア同士の遊びや歯付きベルトの伸び等に起因して、把持部１０の手首部分の動作には冗長性が生じ得る。そのため、例えば、把持部１０が把持した商品Ｔを陳列棚４１０の棚板４１１上に載置する動作中に、商品Ｔを棚板４１１上に接触させた状態でアーム部２０をさらに動作させて把持部１０にさらに力が加えられると、それによって把持部１０の手首部分にいくらかの変位が生じ、把持部１０の姿勢（すなわち角度）が変化する。したがって、商品Ｔを棚板４１１上に載置する動作中に把持部１０に生じ得るこのような角度変化を、把持部１０に設置したＩＭＵによって検出することで、商品Ｔが棚板４１１に接触したことを検知することができる。
　アーム部２０の各関節を駆動するためにサーボモータ等が用いられる場合、把持姿勢を維持する角度から角度偏差を生じさせる外力が生じたときに、元の角度を維持するために角度偏差をゼロにするように動作する。把持部１０が把持した商品Ｔ、把持部１０若しくはアーム部２０が陳列棚４１０の壁や支柱等の障害物に接触した状態でアーム部２０をさらに移動させる際には、その負荷に抗してサーボモータを駆動させようとする電流がサーボモータに入力される。したがって、そのような動作のためにサーボモータに入力される電流をモータ入力電流センサで検出することで、把持部１０が把持した商品Ｔ、把持部１０若しくはアーム部２０が陳列棚４１０の壁や支柱等の障害物に接触していることを検知できる。モータ入力電流センサは、例えば、後述する制御部１５１（図５参照）で構成することができる。
　２つの第１のカメラ５０Ｒ，５０Ｌは、それぞれ、アーム部２０の左右両側に配置されている。アーム部２０の左側である第１の側面２３ａに取り付けられている第１のカメラ５０Ｌは、アーム部２０の延在方向Ａｘに直交する方向に沿った第１の向きＡ１に向けられている（図４参照）。第１のカメラ５０Ｌは、主に陳列棚４１０を撮影するために用いられる。第１の側面２３ａと平行な面であって第１の側面２３ａとは反対側のアーム部２０の右側である第２の側面２３ｂに取り付けられている第１のカメラ５０Ｒは、第１の向きＡ１とは反対向きの第２の向きＡ２に向けられている。第１のカメラ５０Ｒは、主に在庫棚４２０を撮影するために用いられる。このように第１のカメラ５０Ｒ，５０Ｌが互いに反対向きに配置されていることにより、アーム部２０を同じ姿勢に保ったまま、第１のカメラ５０Ｒ，５０Ｌで、それぞれ陳列棚４１０及び在庫棚４２０を同時に撮影することができる。
　第１のカメラ５０Ｒ，５０Ｌの性能は、同じであってもよいし異なっていてもよいが、以下では、説明を簡単にするため、両カメラが同じ性能である例について説明する。もっとも、陳列棚４１０を撮影する目的や撮影条件と、在庫棚４２０を撮影する目的や撮影条件は異なるため、当然ながら、それぞれの目的や条件に合わせて性能の異なるカメラを利用するようにしてもよい。
　第１のカメラ５０Ｒ，５０Ｌは、例えば、画素が二次元的に並んだ撮像画像（一例でＲＧＢ画像）を生成する撮像素子と、距離データを生成する距離検出デバイスである深度センサとを有するものであってもよい。深度センサは、対象物までの距離データを取得することができるものであれば特定の方式に限定されるものではない。例えば、ステレオレンズ方式や、ＬｉＤＡＲ　（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）方式を利用可能である。深度センサは例えばＤｅｐｔｈ画像を生成するものであってもよい。本開示の他の態様において、第１のカメラ５０Ｒ，５０Ｌのいずれかまたは両方は例えば超音波素子を利用して距離データを取得するものであってもよい。
　なお、第１のカメラ５０Ｌは第１の向きＡ１に向けられているが、これは、第１のカメラ５０Ｌの撮像素子および深度センサの撮像方向が向きＡ１であることを意味する。同様に、第１のカメラ５０Ｒが第２の向きＡ２に向けられているとは、第１のカメラ５０Ｒの撮像素子および深度センサの撮像方向が向きＡ２であることを意味する。向きＡ１と向きＡ２は必ずしも１８０°反対向きである必要はなく、商品陳列棚４１０と在庫棚４２０とを撮像可能な向きであればよい。
　第１のカメラ５０Ｒ，５０Ｌの一方または両方が、把持部１０に設けられていてもよい。第１のカメラ５０Ｒ，５０Ｌは必ずしも同一の部材に設けられている必要はなく、例えば、第１のカメラ５０Ｒがリンク部材２１～２３のうちの１つの部材に取り付けられ、第１のカメラ５０Ｌがリンク部材２１～２３のうちの他の部材に取り付けられていてもよい。ただし、第１のカメラ５０Ｒ，５０Ｌが同一の部材に設けられている場合、各カメラ５０Ｒ，５０Ｌがそれぞれ別々のリンク部材に設けられている場合と比較して座標系が共通化するので画像処理の演算が簡単になるという利点がある。
　第２のカメラ６０は、把持部１０が商品Ｔを把持している状態、及び、把持部１０が把持した商品Ｔと陳列棚４１０の棚板４１１との相対的な位置関係を撮影すること等に用いられるものである。第２のカメラ６０も上記の第１のカメラ５０Ｒ，５０Ｌと同様に、例えば、画素が二次元的に並んだ撮像画像（一例でＲＧＢ画像）を生成する撮像素子と、距離データを生成する深度センサとを有するものであってもよい。
　第２のカメラ６０は、一例として、アーム２０のリンク部材２１～２３のうち把持部１０に一番近いリンク部材２３の下側の、把持部１０に近接した位置に設置され、その撮像素子および深度センサの撮像方向がリンク部材２３及び把持部１０の真下（図３，４の－ｚ方向）若しくは下側前方（図３，４の－ｚ方向よりも幾らか＋ｘ方向側）に向けられている。これにより、第２のカメラ６０は、把持部１０で把持した商品Ｔの少なくとも下側部分及び把持部１０の前方に位置する棚板４１１を撮影可能である。
　第３のカメラ７０は、例えば遠隔地の操作者による操作に応じて向きを変えて所定の対象物を撮影するカメラである。第３のカメラ７０は、一例として、昇降機構９０の一部に取り付けられる。第３のカメラ７０は、陳列棚４１０と在庫棚４２０の間のスペースにおいて、水平移動機構８０及び昇降機構９０の動作に伴って、水平移動及び昇降移動が可能である。また、昇降機構９０の第３のカメラ７０が取り付けられている部分は支柱９５を中心に回転可能であり、第３のカメラ７０はその部分の回転に伴って、支柱９５を中心に左右方向に回転移動して、必要に応じて陳列棚４１０を撮影したり、在庫棚４２０を撮影したりできるように構成されている。
　第３のカメラ７０は、例えばステレオレンズ方式のものであってもよい。限定されるものではないが、第３のカメラ７０は、第１のカメラ５０Ｒ，５０Ｌや第２のカメラ６０よりも広い画角を有するものであってもよい。
　水平移動機構８０は、ベースプレート８１と、駆動機構（不図示）とを有する。ベースプレート８１は、昇降機構９０を支持するとともに、店舗内の陳列棚４１０と在庫棚４２０との間に敷設されたレール（不図示）に沿ってスライド移動する。駆動機構（不図示）は、モータやローラ等を含んでおり、制御装置１５０（図５参照）からの制御信号に基づいて動作し、昇降機構９０をレールに沿った所定の位置に移動させる。
　昇降機構９０は、支柱９５と、第１の昇降機構９１と、第２の昇降機構９２とを有する。支柱９５は、ベースプレート８１上に固定され鉛直方向に延びている。
　第１の昇降機構９１は駆動機構（不図示）を有する。駆動機構（不図示）は、モータやリニアガイド等を含んでおり、制御装置１５０（図５参照）からの制御信号に基づいて動作する。駆動機構（不図示）を動作させることにより、第１の昇降機構９１が支柱９５に沿って鉛直方向に上下移動する。第３のカメラ７０が取り付けられている第１の昇降機構９１の上側部分は、支柱９５を中心として左右方向に回転駆動されるように構成されている。
　第２の昇降機構９２は、第１の昇降機構９１によって保持されている。第２の昇降機構９２には、アーム部２０の一端部が取り付けられている。第２の昇降機構９２は駆動機構（不図示）を有する。駆動機構（不図示）は、モータやリニアガイド等を含んでおり、制御装置１５０（図５参照）からの制御信号に基づいて動作する。駆動機構（不図示）を動作させることにより、第２の昇降機構９２も鉛直方向に上下移動する。
　所定の高さに存在している商品Ｔを把持する場合に、昇降機構９０は、第１の昇降機構９１によって、アーム部２０および把持部１０をその商品Ｔが把持可能な高さ付近まで移動させ、第２の昇降機構９２によってアーム部２０および把持部１０の高さを微調整する。
　なお、本実施形態では、昇降機構として第１の昇降機構９１と第２の昇降機構９２とが設けられているが、本開示の他の態様においては、１つの昇降機構のみが設けられた構成としてもよい。
＜制御装置１５０の構成＞
　図５に示すように、制御装置１５０は、制御部１５１と、記憶部１６０と、入力部１９１と、出力部１９３と、通信部１９５とを有している。図５では、制御装置１５０は単一の要素として描かれているが、制御装置１５０は必ずしも物理的に１つの要素である必要はなく、物理的に分離した複数の要素で構成されていてもよい。
　入力部１９１は、操作者からの入力を受け付けるための装置である。入力部１９１は、キーボード、マウス、タッチパネル等のコンピュータに対して入力を行うためのデバイスで構成され得る。入力部１９１は、マイク等の音声入力デバイスを有していてもよい。また、入力部１９１は、操作者の動きを画像認識して識別するジェスチャ入力デバイスを有していてもよい。
　出力部１９３は、商品移動装置１が店員等に対してアラートを出力するためのものであり、例えばスピーカ、ディスプレイ、発光デバイスおよび振動デバイスのうちの１つまたは組合せで構成される。通信部１９５は、外部からデータを受信する機能と、外部へデータを送信する機能とを有する。商品移動装置１が遠隔操作可能な構成の場合、外部装置（不図示）の操作部を介して操作者からの入力が通信部１９５で受信され、制御装置１５０がその入力に基づいて商品移動装置１に所定の動作を行わせる。なお、外部装置の操作部と通信部１９５との通信は、有線通信または無線通信のいずれであってもよい。
　商品移動装置１が遠隔操作可能な構成の場合、操作部１９１は、操作者によって装着されるデバイスであってもよい。このデバイスは、表示デバイス（不図示）および操作デバイス（不図示）を含む。表示デバイスは、操作者が視認可能なディスプレイを有する、例えばヘッドマウントディスプレイ（ＨＭＤ）であってもよい。操作デバイスは、例えば、操作者の身体の部位（例えば手や腕）の動きを検出できる１つまたは複数の入力センサを含んでいてもよい。
　記憶部１６０は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の一時的又は非一時的な記憶媒体を含む。記憶部１６０は、制御部１５１が実行するコンピュータプログラムや後述する学習済みモデル等を記憶する。記憶部１６０に記憶されるコンピュータプログラムは、図８及び図９等を参照して後述する、制御部１５１による商品移動装置１の制御方法を実施する命令を含む。
　記憶部１６０は、取得データ記憶部１６０ａと、参照データ記憶部１６０ｂとを有する。取得データ記憶部１６０ａには、例えば、各カメラ５０Ｒ及び５０Ｌ，６０，７０で撮影された撮像画像データ等が格納される。参照データ記憶部１６０ｂには、商品移動装置１の動作に必要な各種データが格納される。それら各種データには、例えば、商品陳列棚４１０及び在庫棚４２０に関するデータ（各々の形状データ、位置データ、またはレーン座標データ等）、商品Ｔに関するデータ（形状データ、位置データ等）が含まれる。特に本実施形態においては、陳列棚４１０の各棚板４１１上の各レーンの中心位置とその左右の仕切り板４１２との間の距離に関するデータが、参照データ記憶部１６０ｂに記憶されている。
　制御部１５１は、例えば、１又は２以上のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）で構成される。制御部１５１は、記憶部１６０に記憶されたコンピュータプログラムを実行することにより、動作制御部１５２、撮像制御部１５３、及び画像データ処理部１５４として機能する。
　動作制御部１５２は、把持部１０、アーム部２０、水平移動機構８０および昇降機構９０、及び制御装置１５０の各部を動作させる制御信号を生成する。動作制御部１５２は、操作部１９１からの入力信号や記憶部１６０に格納された各種データを参照して制御信号を生成する。制御信号の生成は、画像データ処理部１５５での処理結果を利用して行われてもよい。動作制御部１５２は、また、通信部１９５経由でデータの送受信を行い、また、出力部１９３を介して所定の出力を行う。
　撮像制御部１５３は、各カメラ５０Ｒ，５０Ｌ，６０，７０の動作を制御する。各カメラ５０Ｒ，５０Ｌ，６０，７０の撮像タイミング等については例えば参照データ記憶部１６０ｂに予め格納されたデータを用いて決定されてもよい。
　画像データ処理部１５５は、各カメラ５０Ｒ，５０Ｌ，６０，７０によって撮影された撮像画像データや距離データ（深度データ）を用いて各種情報処理を行う。一例として、画像データ処理部１５５は、第１のカメラ５０Ｒで撮影された画像データを画像解析して、在庫棚４２０に並んでいる商品の識別を行う。画像データ処理部１５５は、陳列可否判定部１５５ａ、把持対象特定部１５５ｂ、レーン特定部１５５ｃ、及び商品位置特定部１５５ｄを有する。
　陳列可否判定部１５５ａは、第１のカメラ５０Ｌで撮像した撮像画像データ及び距離データの少なくとも一方に基づき、例えば、陳列棚４１０に並んでいる最後尾の商品Ｔの後方にさらに商品を配置できるスペースＳｐ（図６参照）が存在するか否かを判定する。図６は、商品移動装置１の第１のカメラ５０Ｌによって撮影された陳列棚４１０の画像である。スペースＳｐが存在する場合、その商品Ｔは、補充が必要ということになる。したがって、陳列可否判定部１５５ａは、スペースＳｐが存在する場合には、その商品ＴをそのスペースＳｐの下の棚板４１１の上に補充するべき旨の通知を動作制御部１５１に送信する。動作制御部１５１は、この通知を受け取った場合には、その商品Ｔについて補充動作を行う。
　把持対象特定部１５５ｂは、第１のカメラ５０Ｒで撮像した撮像画像データ及び距離データの少なくとも一方に基づき、在庫棚４２０に把持対象である補充対象商品が存在している否かの判定、補充対象商品のサイズまたは形状の特定、および補充対象商品の把持位置の決定のうち少なくとも１つの処理を行う。把持対象特定部１５５ｂは、図１に示したようなキャップ部材Ｔｂを有する商品Ｔの場合には、把持位置を例えばキャップ部材Ｔｂの付近に設定する。一方、商品Ｔがキャップ部材を有しない缶飲料等の場合には、把持対象特定部１５５ｂは、容器の側面部分を把持位置に設定してもよい。
　レーン特定部１５５ｃは、商品移動装置１が撮影した陳列棚４１０の後面の画像を画像解析し、棚板４１１上の各レーンの座標及び各レーンの中央位置（各レーンの幅方向における中央位置）を特定する。レーン特定部１５５ｃはさらに、陳列棚４１０上の商品Ｔの座標を特定してもよい。また、レーン特定部１５５ｃは、特定した座標に対応する画像内の位置にドット等の画像を付与してもよい。
　商品位置特定部１５５ｄは、把持部１０によって把持された商品Ｔが商品陳列棚４１０の棚板４１１の商品載置位置（載置対象のレーン）の上方に移動されたときに第２のカメラ６０によって撮影された撮像画像データを解析し、棚板４１１の商品を載置するレーンの基準位置と、そのレーンの上方に配置された商品との、複数のレーンの配列方向における位置関係を特定する。
　図７は、把持部１０によって把持された商品Ｔが陳列棚４１０の棚板４１１の商品載置位置の上方に移動されたときに撮影される撮像画像の一例を示す図である。図７に示すように、商品位置特定部１５５ｄは、一例として、撮像画像に表れている商品Ｔの下側部分の輪郭形状に基づいて、把持部１０によって把持された状態の商品Ｔの底面の実質的な中心を通り、把持部１０及びアーム部２０の延伸方向（図３及び図４に示すｘ軸方向）に延びる商品中心線Ｔｃを、商品Ｔの所定部分の位置として撮像画像上に生成する。商品中心線Ｔｃの生成は、例えば、商品Ｔの下側部分の輪郭形状の下側に最も凸となる部分を任意の画像認識技術により特定し、当該部分を通り、商品移動装置１が予め認識している座標系における上記ｘ軸方向に延びる直線を生成することで行うことが可能である。
　さらに、商品位置特定部１５５ｄは、撮像画像上に表れている棚板４１１上の仕切り板４１２の位置を任意の画像認識技術により基準位置として特定する。商品位置特定部１５５ｄは、撮像画像上で上記のように生成された商品中心線Ｔｃと特定された仕切り板４１２とに基づいて、棚板４１１上の仕切り板４１２と商品中心線Ｔｃとの間の横方向（図３及び図４に示すｙ軸方向）の距離Ｄを求める。撮像画像中において商品中心線Ｔｃの左右両側に仕切り板４１２が存在する場合には、商品位置特定部１５５ｄは、左右の仕切り板４１２の少なくともいずれか一方に対する距離Ｄを求める。棚板４１１上の各レーンの中心位置とその左右の仕切り板４１２との間の距離は参照データ記憶部１６０ｂに記憶されており、商品移動装置１のシステムにおいて既知である。したがって、商品位置特定部１５５ｄは、上記のように求められた商品中心線Ｔｃと棚板４１１上の陳列対象のレーンの仕切り板４１２との距離Ｄを、参照データ記憶部１６０ｂに記憶されているそのレーンの中心位置と上記仕切り板４１２との距離とを比較することで、商品中心線Ｔｃが上記レーンの中心位置に対して左右どちらの方向にどの程度の距離だけずれているかを特定することができる。あるいは、商品位置特定部１５５ｄは、レーン特定部１５５ｃによって特定されたレーンの中央位置（図７の符号Ｌｃ）を参照し、レーン中央位置Ｌｃを基準位置として商品中心線Ｔｃとレーンの中央位置Ｌｃとを直接比較して、商品中心線Ｔｃが上記レーンの中心位置Ｌｃに対して左右どちらの方向にどの程度の距離だけずれているかを特定するように構成されていてもよい。
　なお、上記では商品Ｔの所定部分の位置として商品中心線Ｔｃを特定して用いる例を例示したが、本実施形態において商品Ｔの所定部分の位置としても用いることができる商品Ｔの位置はこれに限られない。例えば、商品Ｔの両側のいずれか一方の位置を所定部分の位置として用いてもよい。また、第２のカメラ６０によって距離（深度）データも取得されている場合には、商品位置特定部１５５ｄは、商品Ｔ、棚板４１１及び仕切り板４１２の位置の検出にその深度データを用いてもよい。
　動作制御部１５２は、上記特定結果に基づき、必要に応じて、商品Ｔが仕切り板４１２に接触することなく棚板４１１上の正しい商品載置位置（仕切り板４１２の間のレーン上）に置かれるように把持部１０を移動させて商品Ｔの位置を補正してから、商品Ｔをリリースするように把持部１０を動作させる。
（商品移動装置１による商品補充動作）
　図８は、商品移動装置１による商品Ｔの補充動作を示すフローチャートである。
　まず、ステップＳ１１において、商品移動装置１のアーム部２０に設置された第１のカメラ５０Ｌによって陳列棚４１０の後面を撮影する。商品移動装置１は、第１のカメラ５０Ｌで陳列棚４１０の各段を撮影できるようにアーム部２０、水平移動機構８０及び昇降機構９０を移動させる。次に、商品移動装置１は第１のカメラ５０Ｌを動作させて、陳列棚４１０の後面の画像を取得するとともに、陳列棚４１０上に並んでいる商品Ｔまでの距離データを取得する。
　次いで、ステップＳ１２において、陳列可否の判定が行われる。「陳列可否の判定」は、商品移動装置１の画像データ処理部１５５における陳列可否判定部１５５ａが、撮像した陳列棚の後面の画像を解析し、どの商品Ｔをどの棚板４１１の上に陳列することが可能か（言い換えれば、どの商品Ｔが補充の必要がある商品か）を判定するステップである。商品移動装置１は、図６のような陳列棚４１０の後面の画像を取得する。
　商品移動装置１の画像データ処理部１５５におけるレーン特定部１５５ｃは、第１のカメラ５０Ｌによって撮影された撮像データによって、商品陳列棚４１０の棚板４１１上のレーンを特定する。さらに、商品移動装置１の画像データ処理部１５５は、商品Ｔまでの距離データ（図６に可視化して示す深度データＤｅｐ）を取得することができるので、レーン「７」、「８」の商品Ｔのように陳列数が減っているものについては、商品Ｔの後方にスペースＳｐが存在することを認識可能である。商品移動装置１の陳列可否判定部１５５ａは、商品Ｔまでの距離データに基づき商品ＴのスペースＳｐの有無を判定し、レーン「７」、「８」に商品Ｔをさらに陳列できるか否かを判定する。ステップＳ１２の工程によって、陳列棚４１０のどの棚板４１１の上にどの商品Ｔの補充が必要かが判定される。
　なお、補充が必要な商品か否かを判定する方法は、上記の方法に限定されるものではなく、種々の方法を利用可能である。例えば、所定の三次元空間内に商品Ｔが何パーセント程度の占有率で配置されているかを判定し、その値が所定の基準値以下の場合に、商品Ｔの補充が必要であると判定してもよい。
　次いで、ステップＳ１３において、在庫棚４２０が撮影される。商品移動装置１が、アーム部２０、水平移動機構８０、昇降機構９０、及び第１のカメラ５０Ｒを動作させて、在庫棚４２０を前面側から撮影する。商品移動装置１は一例として一段ずつ在庫棚４２０を撮影し、商品Ｔの在庫状況を示す撮像画像を取得する。在庫棚４２０の撮影は、陳列棚４１０の撮影の後に行われる必要はなく、陳列棚４１０の撮影の前に在庫棚４２０が撮影されてもよい。
　次いで、ステップＳ１４において、商品移動装置１の画像データ処理部１５５はステップＳ１３において取得した在庫棚４２０の撮像画像を分析し、在庫棚４２０に並んでいる商品の識別を行う。また、画像データ処理部１５５の把持対象特定部１５５ｂは商品の把持位置の特定を行う。ここまでの工程により、陳列棚４１０のどの棚板４１１のどの位置にどの商品Ｔの補充が必要かを示す情報と、その商品Ｔに対応する補充対象商品が在庫棚４２０のどの位置に存在し、その補充対象商品の把持位置はどこであるかを示す情報が、商品移動装置１によって取得される。
　次いで、ステップＳ１５において、商品移動装置１は、取得した上記情報に基づき商品補充動作（ピックアンドプレース動作）を行う。具体的には、商品移動装置１の制御部１５１（図５参照）の動作制御部１５２は、アーム部２０、水平移動機構８０及び昇降機構９０を動作させ、把持部１０を在庫棚４２０の所定の補充対象商品に向けて移動させる。そして、把持部１０で補充対象商品の予め特定された把持位置を把持し、補充対象商品を持ち上げる。その後、動作制御部１５２は、アーム部２０、水平移動機構８０及び昇降機構９０を動作させて、把持した商品Ｔを陳列棚４１０の所定の載置位置まで移動させ、把持部１０から商品Ｔを放すことで、商品Ｔを所定の位置に載置する。以後、商品移動装置１は、同様のピックアンドプレース動作を繰り返し商品Ｔの補充を完了する。
　上記一連の工程が、商品移動装置１が商品Ｔを在庫棚４２０から陳列棚４１０へ自動で補充するための基本的な動作である。このような一連の工程の中のステップＳ１５における商品補充動作（ピックアンドプレース動作）において、商品Ｔの底面が棚板４１１の仕切り版４１２の上に接触する状態で商品Ｔを商品陳列棚４１０の棚板４１１の上に載置する動作が行われると、商品Ｔが転倒したり斜めに傾いた状態となったりして、他の商品Ｔの陳列や補充の妨げになるおそれがある。本実施形態は、商品補充動作（ピックアンドプレース動作）において商品Ｔが棚板４１１の仕切り版４１２に接触することを防ぐ手段を提供する。
＜第１の動作例＞
　図９は、本実施形態の商品移動装置１の第１の動作例を説明するためのフローチャートである。
　最初に、ステップＳ２１において、商品移動装置１の制御部１５１（図５参照）の動作制御部１５２は、把持部１０、アーム部２０、水平移動機構８０及び昇降機構９０を動作させ、在庫棚４２０の補充対象の商品Ｔを把持部１０で把持して、商品Ｔを陳列棚４１０の載置位置の上方まで移動させる。このステップＳ２１は、上述したステップＳ１５において把持部１０から商品Ｔを放す前までの動作に相当する。
　次にステップＳ２２において、商品移動装置１の制御部１５１（図５参照）の撮像制御部１５３は、第２のカメラ６０による撮影を行う。これにより、第２のカメラ６０によって、把持部１０で把持した商品Ｔの少なくとも下側部分とその下方の棚板４１１を含む撮像画像及び距離データが取得される。取得されたそれらの撮像画像及び距離データは、記憶部１６０の取得データ記憶部１６０ａに記憶される。第２のカメラ６０によって取得された撮像画像には、図７に示すように、把持部１０で把持した商品Ｔの少なくとも下側部分と、商品Ｔの下方に位置する棚板４１１及び仕切り板４１２の少なくとも一部とが含まれる。
　次にステップＳ２３において、商品移動装置１の画像データ処理部１５５における商品位置特定部１５５ｄにより、棚板４１１上の商品Ｔの載置位置（レーン）の上方に位置している商品Ｔと、載置位置である当該レーンの基準位置との位置関係を特定する。このステップＳ２３では、図７を参照して上記に説明したように、商品位置特定部１５５ｄは最初に、第２のカメラ６０で取得された撮像画像に表れている商品Ｔの下側部分の輪郭形状に基づいて、把持部１０によって把持された状態の商品Ｔの底面の中心を通り、把持部１０及びアーム部２０の延伸方向（図３及び図４に示すｘ軸方向）に延びる商品中心線Ｔｃを撮像画像上に生成する。上述したように、商品中心線Ｔｃの生成は一例として、商品Ｔの下側部分の輪郭形状の下側に最も凸となる部分を任意の画像認識技術により特定し、当該部分を通り、商品移動装置１が予め認識している座標系における上記ｘ軸方向に延びる直線を生成することで行うことが可能である。商品位置特定部１５５ｄはさらに、撮像画像上に表れている棚板４１１上の仕切り板４１２を任意の画像認識技術により特定する。
　続いて商品位置特定部１５５ｄは、棚板４１１上の仕切り板４１２と、商品中心線Ｔｃとの間の横方向（図３及び図４に示すｙ軸方向）の距離Ｄを求める。撮像画像中において商品中心線Ｔｃの左右両側に仕切り板４１２が存在する場合には、商品位置特定部１５５ｄは、左右の仕切り板４１２の少なくともいずれか一方に対する距離Ｄを求める。
　棚板４１１上の各レーンの中心とその左右の仕切り板４１２との間の距離は参照データ記憶部１６０ｂに予め記憶されており、商品移動装置１のシステムにおいて既知である。したがって、商品位置特定部１５５ｄは、上記のように求められた商品中心線Ｔｃと棚板４１１上の陳列対象のレーンの仕切り板４１２との距離Ｄを、参照データ記憶部１６０ｂに記憶されているそのレーンの中心位置と上記仕切り板４１２との距離と比較することで、商品中心線Ｔｃが上記レーンの中心位置に対して左右どちらの方向にどの程度の距離だけずれているのかを特定することができる。例えば、参照データ記憶部１６０ｂに記憶されているレーンの中心位置と上記仕切り板４１２との距離が３０ｍｍであり、求められた距離Ｄが２０ｍｍである場合には、商品Ｔの中心がレーンの中心位置から上記仕切り板４１２に近づく方向に１０ｍｍずれていると特定され、あるいは、求められた距離Ｄが３５ｍｍである場合には、商品Ｔの中心がレーンの中心位置から上記仕切り板４１２から離れる方向に５ｍｍずれていると特定される。
　最後にステップＳ２４において、商品移動装置１の動作制御部１５２は、レーンの中心位置に対する商品Ｔの位置ずれを補正するために把持部１０及びアーム部２０等を動作させる。
　動作制御部１５２は、ステップＳ２３において商品位置特定部１５５ｄにより特定されたレーン中心位置と商品Ｔの中心との位置関係に基づいて、把持部１０が把持している商品Ｔの中心がレーン中心位置に位置するまで商品Ｔを左右方向（図３及び図４におけるｙ軸に沿う方向）に移動させるように、把持部１０及びアーム部２０等を動作させる。例えば上記の例において、商品Ｔがレーンの中心位置から上記仕切り板４１２に近づく方向に２０ｍｍずれていると特定された場合には、商品Ｔを上記仕切り板４１２から離れる方向に２０ｍｍ移動させ、あるいは、あるいは、商品Ｔがレーンの中心位置から上記仕切り板４１２から離れる方向に１５ｍｍずれていると特定された場合には、商品Ｔを上記仕切り板４１２に近づく方向に１５ｍｍ移動させる。これにより、商品Ｔはその中心がレーンの中心位置と実質的に一致する位置の上方に配置される。
　このステップＳ２４の後に、上述したステップＳ１５の最後の動作である、商品移動装置１の動作制御部１５２は把持部１０から商品Ｔを放す動作を実行し、商品Ｔを棚板４１１上の所定の位置（陳列対象のレーン）に載置する。一般に、棚板４１１上の各レーンの幅は陳列対象の商品Ｔの横幅よりも大きく設けられているため、商品Ｔの中心がレーンの中心位置と実質的に一致する位置では、商品Ｔの側面と仕切り板４１２との間にはいくらかの隙間空間が確保されているので、その位置で商品Ｔを棚板４１１の当該レーンの上に載置しても、商品Ｔの底面が仕切り板４１２に接触することはない。したがって、上述したステップＳ１５において棚板４１１の陳列位置の上方に移動された商品Ｔが所定位置からずれている場合であっても、ステップＳ２４において商品Ｔの配置位置の補正動作を実行した後に、上記ステップＳ１５の最後に行われる把持部１０から商品Ｔを放す動作を実行することにより、商品Ｔを仕切り板４１２に接触させて転倒等させることなく、商品Ｔを棚板４１１上の載置位置（載置対象のレーン上）に載置することができる。
　なお、上記では、ステップＳ１５において棚板４１１の載置位置の上方に移動された商品Ｔが所定位置からずれている場合には、ステップＳ２４において商品Ｔの配置位置の補正動作を実行することを説明したが、所定位置からのずれ量によってはこの補正動作を省略してもよい。上記のように、一般に棚板４１１上の各レーンの幅は陳列対象の商品Ｔの横幅よりも大きく設けられている。そのため、商品Ｔの所定位置からのずれ量が所定距離よりも小さい場合には、その状態で把持部１０から商品Ｔを放して棚板４１１上に載置しても、商品Ｔを仕切り板４１２に接触させることなく棚板４１１上の所定のレーンに陳列配置することができる。補正動作を省略可能とするずれ量は、例えば、３ｍｍや５ｍｍ等、商品移動装置１の動作制御部１５２において予め設定することができる。動作制御部１５２は、商品位置特定部１５５ｄにより特定されたずれ量が上記の設定距離以内である場合には、商品Ｔの位置補正動作を行うことなく把持部１０から商品Ｔを放す動作を実行してもよい。
　ステップＳ２４において、レーンの中心位置に対する商品Ｔの位置ずれを補正するために把持部１０及びアーム部２０等を動作させる際、場合によっては、商品Ｔ、把持部１０あるいはアーム部２０が陳列棚４１０の壁や支柱等に当接して、把持部１０及びアーム部２０等をそれ以上動かすことができない状況が生じ得る。そのような状況で商品Ｔの位置補正のため把持部１０及びアーム部２０等をさらに動作させようとすると、商品Ｔ、把持部１０あるいはアーム部２０が損傷したり、あるいは陳列棚４１０の壁や支柱等が損傷したりするおそれがある。本実施形態によれば、商品Ｔの位置ずれを補正するために把持部１０及びアーム部２０等が作動している間に、把持部１０が保持している商品Ｔ、把持部１０あるいはアーム部２０が陳列棚４１０の壁や支柱等の障害物に当接したことが接触検知センサ３０によって検知されると、動作制御部１５２は商品Ｔの位置補正のための把持部１０及びアーム部２０等の動作を終了し、把持部１０から商品Ｔを放す動作を実行する。これにより、商品Ｔ、把持部１０あるいはアーム部２０が障害物に接触した状態で把持部１０あるいはアーム部２０をさらに動作させることでそれらの商品Ｔ、把持部１０あるいはアーム部２０、もしくは陳列棚４１０の壁や支柱等が損傷することを防ぐことができる。この場合には、商品移動装置１は、通信部１９５から操作者が使用する外部装置（不図示）に位置補正動作不能を示す通知を行ってもよい。その通知を受けた装置の操作者は、外部装置で商品移動装置１を遠隔操作し、第２のカメラ６０から画像データを取得して商品Ｔの位置を確認し、必要に応じてその位置補正のために把持部１０及びアーム部２０等を遠隔操作する等の対応を行うことが可能である。
　また、上記では、ステップＳ２３において、棚板４１１上の仕切り板４１２を商品位置特定の基準位置とする場合について説明したが、本実施形態において商品位置特定の基準位置として用いることができるのは仕切り板４１２の位置に限られない。例えば、商品位置特定部１５５ｄは、画像データ処理部１５５のレーン特定部１５５ｃが特定した各レーンの中心位置Ｌｃを商品位置特定の基準位置とし、上記のように特定した商品Ｔの中心線Ｔｃと、その商品Ｔを載置するレーンの中心位置Ｌｃとの距離を位置ずれ量として求めてもよい。この場合は、このように求められた距離（位置ずれ量）を補正するように、動作制御部１５２による商品Ｔの位置補正動作が実行される。
＜第２の動作例＞
　上述した第１の動作例では、第２のカメラ６０で撮影された画像データに基づいて、商品移動装置１の商品位置特定部１５５ｄが、把持部１０に把持された商品Ｔとその商品Ｔを載置すべき棚板４１１上のレーン内の載置位置との位置関係を特定し、その特定結果に基づいて、商品移動装置１の動作制御部１５２が把持部１０及びアーム部２０等を動作させて、商品Ｔの位置を補正するように棚板４１１上のレーン内の載置位置に移動させてから把持部１０が商品Ｔを放して、商品Ｔをその載置位置に載置する例を示した。これに対して第２の動作例は、商品移動装置１の商品位置特定部１５５ｄが、機械学習により学習させて生成した学習済みモデルを用いて、把持部１０に把持された商品Ｔとその商品Ｔを載置すべき棚板４１１上のレーン内の載置位置との位置関係を特定する手段を提供する。
　商品Ｔとその商品Ｔを載置すべき棚板４１１上の載置位置との位置関係の特定に用いられる学習済みモデルは、一例として、把持部１０が商品Ｔを棚板４１１上の載置位置に載置するために把持部１０及びアーム部２０によって商品Ｔがその載置位置の上方に配置された状態で上述のように第２のカメラ６０によって撮影される、把持部１０に把持された商品Ｔと棚板４１１とを含む種々の画像データ及び／又は深度データと、各データに関連付けられた棚板４１１上の載置位置と商品Ｔとの位置関係に関するアノテーション情報とを教師データとし、把持部１０に把持された商品Ｔと棚板４１１とを含む画像データ及び／又は深度データを学習データとして、コンピュータで構成される任意の学習器によって機械学習させることで生成することができる。
　そのような学習済みモデルは、例えば、各層にニューロンを含む複数の層で構成されるニューラルネットワークで機械学習を実行して生成することができる。そのようなニューラルネットワークとして、例えば２０層以上を備えた畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）のようなディープニューラルネットワークを用いてもよい。このようなディープニューラルネットワークを用いた機械学習は、ディープラーニングと称される。このようにして生成された学習済みモデルは、商品移動装置１の記憶部１６０に記憶され、商品移動装置１の商品位置特定部１５５ｄの機能モジュールとして実装される。
　図１０は、商品移動装置１の第２のカメラ６０で撮影される、把持部１０で把持され、棚板４１１上の載置位置に載置される前に載置位置の上方に配置された商品Ｔと、棚板４１１上の載置位置との種々の位置関係の例を示す概念図である。図１０では、商品Ｔの底部の周囲面の輪郭と、棚板４１１上の載置位置（レーン）を形成する仕切り板４１２とを上方から投影した状態に模式的に描画されている。
　図１０（ａ）では、棚板４１１上の載置位置であるレーンの中心位置Ｌｃに対して商品Ｔの中心線Ｔｃが図示左側（ｙ軸方向）に１５ｍｍずれた状態となっている。図１０（ａ）に示す状態の画像データは、棚板４１１上の載置位置に対する商品Ｔの位置関係に関するアノテーション情報として、「ずれ方向：ｙ軸方向、ずれ量：１５ｍｍ、左側接触」が関連付けられて教師データとされる。図１０（ｂ）では、棚板４１１上の載置位置であるレーンの中心位置Ｌｃに対して商品Ｔの中心線Ｔｃが図示左側（ｙ軸方向）に５ｍｍずれた状態となっており、図１０（ｂ）に示す状態の画像データは、棚板４１１上の載置位置に対する商品Ｔの位置関係に関するアノテーション情報として、「ずれ方向：ｙ軸方向、ずれ量：５ｍｍ、接触無し」が関連付けられて教師データとされる。また、図１０（ｃ）では、棚板４１１上の載置位置であるレーンの中心位置Ｌｃに対して商品Ｔの中心線Ｔｃが図示右側（－ｙ軸方向）に１０ｍｍずれた状態となっており、図１０（ｃ）に示す状態の画像データは、棚板４１１上の載置位置に対する商品Ｔの位置関係に関するアノテーション情報として、「ずれ方向：－ｙ軸方向、ずれ量：１０ｍｍ、右側接触」が関連付けられて教師データとされる。教師データは、このように、載置位置の上方に配置された商品Ｔと棚板４１１上の載置位置との種々の位置関係を示す複数の画像データ及び／深度データと、各画像データに関連付けられた棚板４１１上の載置位置と商品Ｔとの位置関係に関するアノテーション情報とで構成される。
　本例において、上述した学習済みモデルを機能モジュールとして実装した商品移動装置１の商品位置特定部１５５ｄは、第１の動作例で説明したステップＳ２３の処理に代えて、第２のカメラ６０によって撮影された画像データについて、上記学習済みモデルを用いて、棚板４１１上の載置位置に載置される前に載置位置の上方に配置された商品Ｔと棚板４１１上の載置位置との位置関係を特定する。本例では学習済みモデルを用いて上記位置関係の特定が行われるので、第１の動作例のように画像認識技術を用いた処理を実行して画像データ等から上記位置関係を特定する場合に比べて、計算コストを低減しつつ処理速度を速めることができる。
　本例における商品移動装置１の動作制御部１５２も、第１の動作例において説明したステップＳ２４と同様に、上記のように特定されたレーン中心位置Ｌｃと商品Ｔの中心線Ｔｃとの位置関係に基づいて、レーンの中心位置Ｌｃに対する商品Ｔの中心の位置ずれを補正するように、把持部１０及びアーム部２０等を動作させ、把持部１０が把持している商品Ｔの中心がレーン中心位置に位置するまで商品Ｔを左右方向（図３及び図４におけるｙ軸に沿う方向）に移動させる。そして、商品移動装置１の動作制御部１５２は把持部１０から商品Ｔを放す動作を実行し、商品Ｔを棚板４１１上の所定の位置（陳列対象のレーン）に載置する。
　なお、第２の動作例の変形例として、商品移動装置１の商品位置特定部１５５ｄは、上述した学習済みモデルを用いて処理を行った結果生成される確率値の大きさに応じて、棚板４１１上の載置位置に載置される前に載置位置の上方に配置された商品Ｔと、棚板４１１上の載置位置との位置関係を特定するように構成されていてもよい。
　例えば、商品位置特定部１５５ｄは、第２のカメラ６０によって撮影された画像データについて、上記学習済みモデルを用いて、棚板４１１上の載置位置に載置される前に載置位置の上方に配置された商品Ｔの位置として、（１）載置位置のレーンの中央領域（仕切り板４１２への接触無し）、（２）レーンの画面左側の仕切り板４１２に接触、（３）レーンの画面右側の仕切り板４１２に接触、の３つの状態に関する発生確率値を求める。商品位置特定部１５５ｄは、取得したそれらの３つの状態に関する発生確率値のうち最も値が大きい発生確率値の状態を、処理対象の画像データにおける商品Ｔの位置として採用する。
　商品移動装置１の動作制御部１５２は、商品Ｔの位置の各状態及びその発生確率値に予め関連付けられた位置補正動作内容に従って、レーンの中心位置Ｌｃに対する商品Ｔの中心の位置ずれを補正するように、把持部１０及びアーム部２０等を動作させ、把持部１０が把持している商品Ｔの中心がレーン中心に位置するまで商品Ｔを左右方向（図３及び図４におけるｙ軸に沿う方向）に移動させる。そして、商品移動装置１の動作制御部１５２は把持部１０から商品Ｔを放す動作を実行し、商品Ｔを棚板４１１上の所定の位置（陳列対象のレーン）に載置する。
　下記の表１に、商品Ｔの位置の各状態及びその発生確率値と位置補正動作内容とを関連付けたルックアップテーブルの一例を示す。このルックアップテーブルは、商品移動装置１の記憶部１６０に予め記憶されている。
Figure JPOXMLDOC01-appb-T000001
　上記例について説明すると、例えば、３つの状態に関する発生確率値のうち最も値が大きい状態が「（１）中央領域」であって、その発生確率値が０．９～１．０、０．８～０．９未満、０．７～０．８未満及び０．６～０．７未満であるときは、商品Ｔは棚板４１１上の所定の位置（陳列対象のレーン）のほぼ中央位置にあり、商品Ｔがその左右の仕切り板４１２のどちらにも接触していない確率が６０％以上であるため、位置補正動作内容は「位置補正無し」とされている。したがって、これらに該当する場合には動作制御部１５２による商品Ｔの位置補正動作は行われず、その位置で把持部１０から商品Ｔを放す動作を実行し、商品Ｔを棚板４１１上の所定の位置（陳列対象のレーン）に載置する。
　また、３つの状態に関する発生確率値のうち最も値が大きい状態が「（２）レーン左側の仕切り板に接触」である場合には、商品Ｔの位置補正のための移動距離がその発生確率値に応じて設定される。発生確率値が一番大きい０．９～１．０である場合には、商品Ｔがレーン左側の仕切り板により近い位置の上方に配置されている可能性が高いため、レーン中央までの移動距離が比較的大きい「右方向へ１５ｍｍ」に設定されている。発生確率値が０．８～０．９未満、０．７～０．８未満及び０．６～０．７未満のように小さくなるにつれて、商品Ｔがレーン左側の仕切り板に近い位置の上方に配置されている可能性が低くなる、つまり商品Ｔがレーン中央側に配置されている可能性が高くなるため、それらの発生確率値に関連付けられるレーン中央までの移動距離は１０ｍｍ、５ｍｍ、３ｍｍのように順次小さく設定されている。３つの状態に関する発生確率値うち最も値が大きい状態が「（３）レーン右側の仕切り板に接触」である場合もこれと同様に設定されるが、商品Ｔの位置補正のための移動方向はこれとは逆の「左方向」となる。
　なお、３つの状態に関する発生確率値のうち最も値が大きい状態の発生確率値が０．６未満である場合には、商品Ｔの位置の特定精度が比較的低いために商品Ｔの位置が正しく特定されていない可能性があるため、商品移動装置１は通信部１９５から操作者が使用する外部装置（不図示）に位置特定不能を示す通知を行う。その通知を受けた装置の操作者は、外部装置で商品移動装置１を遠隔操作し、第２のカメラ６０から画像データを取得して商品Ｔの位置を確認し、必要に応じてその位置補正のために把持部１０及びアーム部２０等を遠隔操作する等の対応を行うことが可能である。
　あるいは、３つの状態に関する発生確率値がいずれも０．６以上である場合であっても、それらが例えば、（１）「中央領域」が０．７、（２）「レーン左側の仕切り板に接触」が０．６、（３）「レーン右側の仕切り板に接触」が０．７のように、いずれも比較的低い値で、かつ互いに近い値である場合には、商品Ｔの位置状態の特定が困難な状態にある。そのためこのような場合にも、商品移動装置１は通信部１９５から操作者が使用する外部装置（不図示）に位置特定不能を示す通知を行ってもよい。一方、３つの状態に関する発生確率値がいずれも０．６未満である場合であっても、それらが例えば、（１）「中央領域」が０．５、（２）「レーン左側の仕切り板に接触」が０．００１、（３）「レーン右側の仕切り板に接触」が０．００１のように、一番大きい値とそれ以外の値との差が大きい場合には、商品位置特定部１５５ｄは一番大きい値の状態を商品Ｔの位置状態として採用してもよい。前者のように発生確率値がいずれも０．６以上である場合であっても位置特定不能を示す通知を行うときの基準（例えば、３つの状態に関する発生確率値が互いに１０％の誤差内である場合等）や、後者のように発生確率値がいずれも０．６未満である場合であっても一番大きい値の状態を商品Ｔの位置状態として採用するときの基準（例えば、一番大きい発生確率値がそれ以外の発生確率値の１０倍以上等）は、適宜設定することが可能である。
　発生確率値の各範囲及びそれに関連付けられる位置補正動作並びにその移動距離は、表１に記載した例に限定されるものではなく、実施内容に応じて適宜設定することが可能である。
　以上、発明の実施形態を通じて本開示を説明したが、上述の実施形態は、特許請求の範囲に係る発明を限定するものではない。また、本開示の実施形態の中で説明されている特徴を組み合わせた形態も本発明の技術的範囲に含まれ得る。さらに、上述の実施形態に、多様な変更または改良を加えることが可能であることも当業者に明らかである。

 

Claims (9)

  1. 　在庫棚に載置された商品を前記在庫棚と異なる陳列棚に移動する商品移動装置であって、
    　前記商品を把持する把持部を備えたアーム部と、
    　前記陳列棚の棚板の上に設けられた前記商品を陳列する複数のレーンのうちの１つのレーンに前記商品を載置するために前記把持部に把持されて前記アーム部によって前記レーンの上方に配置された前記商品の少なくとも一部と、前記棚板の前記陳列位置を含む少なくとも一部とを含む画像データを取得する撮像部と、
    　前記把持部、前記アーム部及び前記撮像部の動作を制御する制御部と、
    を備え、
    　前記制御部は、
    　前記画像データに基づいて、前記棚板の前記商品を載置する前記レーンの基準位置と、前記レーンの上方に配置された前記商品との、前記複数のレーンの配列方向における位置関係を特定することと、
    　前記特定された前記位置関係に基づいて、前記アーム部を動作させて前記基準位置に対する前記商品の位置を補正することと、
    を実行するように構成されている、商品移動装置。
  2. 　前記位置関係を特定することは、前記画像データを解析して前記基準位置として前記レーンの中央位置を特定することを含む、請求項１に記載の商品移動装置。
  3. 　前記棚板には、前記複数のレーンを仕切る仕切り部材が設けられており、
    　前記位置関係を特定することは、前記画像データを解析して前記基準位置として前記仕切り部材の位置を特定することを含む、請求項１に記載の商品移動装置。
  4. 　前記位置関係を特定することは、前記画像データを解析して前記商品の所定部分の位置を求めることを含む、請求項１に記載の商品移動装置。
  5. 　前記位置関係を特定することは、種々の前記画像データと、当該種々の画像データにそれぞれ関連付けられた前記商品と前記基準位置との前記位置関係に関するアノテーション情報とを教師データとし、当該教師データの前記種々の画像データとは異なる種々の前記画像のデータを学習データとして予め機械学習して生成された学習済みモデルを用いて前記位置関係を特定することを含む、請求項１に記載の商品移動装置。
  6. 　前記基準位置に対する前記商品の位置を補正することは、前記学習済みモデルを用いて特定される前記位置関係に関する確率値に対応して予め関連付けられた距離だけ前記商品を移動させることを含む、請求項５に記載の商品移動装置。
  7. 　前記商品移動装置は、前記把持部が保持する前記商品、前記把持部若しくは前記アーム部が障害物に接触したことを検知する接触検知センサをさらに備えており、
    　前記制御部は、前記基準位置に対する前記商品の位置を補正するために前記アーム部を動作させている間に、前記把持部が保持する前記商品、前記把持部若しくは前記アーム部が前記障害物に接触したことを接触検知センサが検知すると、前記基準位置に対する前記商品の位置を補正するための前記アーム部の動作を終了させるように構成されている、請求項１に記載の商品移動装置。
  8. 　在庫棚に載置された商品を前記在庫棚と異なる陳列棚に移動する商品移動装置の制御方法であって、
    　前記商品移動装置は、
    　前記商品を把持する把持部を備えたアーム部と、
    　前記陳列棚の棚板の上に設けられた前記商品を陳列する複数のレーンのうちの１つのレーンに前記商品を載置するために前記把持部に把持されて前記アーム部によって前記レーンの上方に配置された前記商品の少なくとも一部と、前記棚板の前記陳列位置を含む少なくとも一部とを含む画像データを取得する撮像部と、
    　前記把持部、前記アーム部及び前記撮像部の動作を制御する制御部と、
    を備え、
    　前記制御部によって実行される、
    　前記画像データに基づいて、前記棚板の前記商品を載置する前記レーンの基準位置と、前記レーンの上方に配置された前記商品との、前記複数のレーンの配列方向における位置関係を特定するステップと、
    　前記特定された前記位置関係に基づいて、前記アーム部を動作させて前記基準位置に対する前記商品の位置を補正するステップと、
    を含む、商品移動装置の制御方法。
  9. 　在庫棚に載置された商品を前記在庫棚と異なる陳列棚に移動する商品移動装置を制御するプログラムであって、
    　前記商品移動装置は、
    　前記商品を把持する把持部を備えたアーム部と、
    　前記陳列棚の棚板の上に設けられた前記商品を陳列する複数のレーンのうちの１つのレーンに前記商品を載置するために前記把持部に把持されて前記アーム部によって前記レーンの上方に配置された前記商品の少なくとも一部と、前記棚板の前記陳列位置を含む少なくとも一部とを含む画像データを取得する撮像部と、
    　前記把持部、前記アーム部及び前記撮像部の動作を制御する制御部と、
    を備え、
    　前記プログラムは、前記制御部に、
    　前記画像データに基づいて、前記棚板の前記商品を載置する前記レーンの基準位置と、前記レーンの上方に配置された前記商品との、前記複数のレーンの配列方向における位置関係を特定するステップと、
    　前記特定された前記位置関係に基づいて、前記アーム部を動作させて前記基準位置に対する前記商品の位置を補正するステップと、
    を実行させる、プログラム。

     
PCT/JP2023/011752 2022-03-29 2023-03-24 商品移動装置及びその制御方法 WO2023190122A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022-052993 2022-03-29
JP2022052993 2022-03-29
JP2022-117864 2022-07-25
JP2022117864 2022-07-25

Publications (1)

Publication Number Publication Date
WO2023190122A1 true WO2023190122A1 (ja) 2023-10-05

Family

ID=88201373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/011752 WO2023190122A1 (ja) 2022-03-29 2023-03-24 商品移動装置及びその制御方法

Country Status (1)

Country Link
WO (1) WO2023190122A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020011308A (ja) * 2018-07-13 2020-01-23 オムロン株式会社 マニピュレータ制御装置、マニピュレータ制御方法、及びマニピュレータ制御プログラム
JP2020130192A (ja) * 2019-02-12 2020-08-31 サンデン・リテールシステム株式会社 載置状況判定システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020011308A (ja) * 2018-07-13 2020-01-23 オムロン株式会社 マニピュレータ制御装置、マニピュレータ制御方法、及びマニピュレータ制御プログラム
JP2020130192A (ja) * 2019-02-12 2020-08-31 サンデン・リテールシステム株式会社 載置状況判定システム

Similar Documents

Publication Publication Date Title
US10857673B2 (en) Device, method, program and recording medium, for simulation of article arraying operation performed by robot
US11046530B2 (en) Article transfer apparatus, robot system, and article transfer method
JP6807949B2 (ja) 干渉回避装置
US8498745B2 (en) Robot apparatus and gripping method for use in robot apparatus
US11584004B2 (en) Autonomous object learning by robots triggered by remote operators
JP6902369B2 (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
JP6869060B2 (ja) マニピュレータの制御装置、制御方法およびプログラム、ならびに作業システム
JP4976883B2 (ja) マニピュレータシステム
JP2012030320A (ja) 作業システム、作業ロボット制御装置および作業プログラム
US11945106B2 (en) Shared dense network with robot task-specific heads
JP2020082253A (ja) 画像情報処理装置、把持システム、および画像情報処理方法
CN115008477A (zh) 机械手移动补偿方法、装置、计算机可读存储介质
WO2023190122A1 (ja) 商品移動装置及びその制御方法
JP6931585B2 (ja) 作業システム、作業システムの制御方法及びプログラム
WO2023022214A1 (ja) 商品移動装置、商品移動システムおよび商品移動装置の制御方法
Costanzo et al. Enhanced 6d pose estimation for robotic fruit picking
WO2023190123A1 (ja) 商品移動装置及びその制御方法
WO2024024877A1 (ja) 商品移動装置及びその制御方法
WO2024181200A1 (ja) 商品移動装置及びその制御方法
WO2023187006A1 (en) Controlling a robotic manipulator for packing an object
JP7481205B2 (ja) ロボットシステム、ロボットの制御方法、情報処理装置、コンピュータプログラム、学習装置、及び学習済みモデルの生成方法
WO2024101413A1 (ja) 商品移動装置、その制御方法及びコンピュータプログラム
TW202437214A (zh) 商品移動裝置及其控制方法、以及程式
JP2022060003A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
US20240351216A1 (en) Merchandise movement device, merchandise movement system, and method for controlling merchandise movement device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23780132

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024512328

Country of ref document: JP

Kind code of ref document: A