WO2023092244A1 - Sistema robotico autonomo para la recoleccion de productos - Google Patents

Sistema robotico autonomo para la recoleccion de productos Download PDF

Info

Publication number
WO2023092244A1
WO2023092244A1 PCT/CL2021/050113 CL2021050113W WO2023092244A1 WO 2023092244 A1 WO2023092244 A1 WO 2023092244A1 CL 2021050113 W CL2021050113 W CL 2021050113W WO 2023092244 A1 WO2023092244 A1 WO 2023092244A1
Authority
WO
WIPO (PCT)
Prior art keywords
products
real
store
product
virtual
Prior art date
Application number
PCT/CL2021/050113
Other languages
English (en)
French (fr)
Inventor
Alvaro Marcelo Rodrigo Soto Arriaza
José Antonio EYZAGUIRRE DOMINGUEZ
Juan Pablo DE VICENTE JOUANNE
Daniel Alberto CALABI GUZMAN
Original Assignee
Pontificia Universidad Católica De Chile
Oddness Technologies Spa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pontificia Universidad Católica De Chile, Oddness Technologies Spa filed Critical Pontificia Universidad Católica De Chile
Priority to PCT/CL2021/050113 priority Critical patent/WO2023092244A1/es
Publication of WO2023092244A1 publication Critical patent/WO2023092244A1/es

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B25J18/02—Arms extensible
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/02—Manipulators mounted on wheels or on carriages travelling along a guideway
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/12—Platforms; Forks; Other load supporting or gripping members
    • B66F9/18—Load gripping or retaining means

Definitions

  • the invention refers to an autonomous robotic system for the collection of products.
  • the invention refers to an actuator specially designed for the retrieval of products from shelves in a store and to the possibility of using said system remotely by means of a method of operation of an autonomous robotic system for the retrieval of products remotely from from a virtual store.
  • the main objective of the invention is to provide a mobile robot that is capable of autonomously navigating the aisles of a real store or location, with the ability to pick up different products from shelves in said store.
  • the collection of products is carried out from a selection of products to be collected, which can be issued by a user remotely, where said selection of products is executed through a user interface with a graphical representation. virtual store or real location.
  • the proposed solution solves problems associated with the purchase of products in stores, mainly the coordination and planning of trajectories, autonomous navigation within a store, recognition of products on shelves, and robotic handling and picking of products from shelves.
  • the proposed solution presents a robotic system specially designed for the collection of items in stores, with the ability to handle items or products of different shapes and sizes.
  • the solution can incorporate a user interface that does not simulate the physical store or generate a 3D virtual reality representation, but instead generates a virtual representation of the store that resembles the real store, but with a configuration adapted to the needs or preferences. of each user, specially designed to facilitate its use in portable devices.
  • the proposed interface does not need virtual reality equipment, but is designed for the user to run it directly on the screen of his portable device.
  • the virtual representation can include only one infinite aisle, which can be walked sequentially or jumping to different sections depending on the selection of specific categories or products.
  • the solution incorporates one or more autonomous mobile robots, each one equipped with a mechanism specially designed to collect and collect the products from the shelf while moving around. autonomous by the store. Specifically, given a selection or list of products, and a map of the store with the planimetry (layout) of the shelves, the proposed solution incorporates a planning system that calculates an optimal trajectory for the robot to collect all the products. efficiently required.
  • the solution includes a visual recognition system to identify real products directly on the store shelves, without the need for special codes that facilitate the identification of each product, as well as components specially designed to collect and transport products from store shelves, such as a supermarket or a product storage warehouse.
  • the invention refers to an autonomous robotic system for the collection of products in a real store, which comprises. at least one real store, comprising shelves with real products; at least one mobile robot, which is formed by a body comprising: o at least one processing unit; or at least one communications unit; or at least one vision sensor assembly, configured to obtain image information and distance information, called vision information; or a mobile base, comprising at least one drive unit configured to drive and steer the mobile robot; or at least one actuator arranged on the mobile base, configured to manipulate and move real products from the shelves of the real store; I at least one temporary storage region arranged on the mobile base, configured to receive actual products from the at least one actuator; a navigation system in communication with the at least one drive unit, through the at least one communications unit and the at least one processing unit, where the navigation system accesses planimetry information from the actual store; a product recognition system in communication with the at least one vision sensor assembly, through the at least one communications unit and the at least one processing unit, where the product recognition system accesses the
  • the system of the invention may comprise a computer system in communication with the multi-object planning system and with the product recognition system, and at least one user device in communication with the computer system.
  • the computer system which may be integrated into the mobile robot and may comprise the user device, one or more servers in the network and/or cloud computing, may be configured to process a graphical representation of the actual store, which It is called a virtual store.
  • the virtual store can comprise shelves with a graphical representation of real products, called virtual products. Virtual products can be arranged on the shelves of the virtual store in a way similar to the real one, which can be recreated based on user preferences.
  • the at least one user device which can correspond to a portable device, such as a Smartphone, can be configured to show the virtual store to a user through a user interface, for example, through an application installed on the user device or by accessing a web page.
  • Said user interface can be configured to receive at least one selection of virtual products from the user, for example, by generating a basket of products or purchase order, and to communicate said at least one selection of virtual products to the system.
  • the computer system receives a product selection corresponding to one or a combination of a real-time product selection from a user or a predetermined product selection, not necessarily from a data source. On-line shop.
  • the computer system can be configured to receive the at least one selection of virtual products and to communicate it to the multi-objective planning system and to the product recognition system that, independent of the above, can be integrated in each mobile robot or in communication with them from a central control unit.
  • the multi-objective planning system is configured to calculate one or more trajectories optimal for the collection of real products coinciding with the products to be collected, either according to a pre-established purchase order or through at least a selection of virtual products. Said one or more optimal trajectories are communicated to the navigation system.
  • the navigation system which can be integrated into each mobile robot or in communication with them from a central control unit, is configured to receive said one or more optimal trajectories and to drive the at least one motor unit of at least least one mobile robot to traverse the actual store following at least one optimal path received.
  • the navigation system may be in communication with the vision sensor assembly, using the same to receive image and distance information (vision information), useful for robot navigation.
  • the navigation system may be in communication with a navigation sensor assembly arranged on the mobile robot and similar to the vision sensor assembly, but specially designed to capture navigation information for robot navigation. Said navigation information may be of the same type as vision information, ie image and distance information.
  • the product recognition system comprises identification algorithms configured to identify each actual product on the shelves of the actual store.
  • the at least one vision sensor assembly in communication with said product recognition system is arranged to obtain vision information of the shelves of the actual store, said vision information may comprise information on the planogram of at least one section of the store , including location information of the products in the planogram, for example, by means of X and Y Cartesian axes, and distance information between the products and the mobile robot, for example, by means of distance information from a suitable sensor.
  • the identification algorithms are configured to recognize shapes of objects corresponding to an exterior shape of the actual products in said vision information, and to read logos or texts of the actual products in said vision information, particularly in the image information, identifying the actual products and obtaining location and distance information from the identified actual products.
  • the product recognition system is configured to actuate the at least one motor unit of the at least one mobile robot to position itself in the vicinity of the shelf where it is placed. finds said matching real product and for actuating the at least one actuator of the at least one mobile robot based on the location and distance information of the matching real product, for picking up the matching real product from the shelf and placing it in the at least one region temporary storage. Once the actual matched product is in the buffer region, the mobile robot can continue with the at least one optimal path to pick the next product or to finish said path.
  • the operation method of the autonomous robotic system defined above for the remote collection of products from a virtual store, comprises the steps of: a) displaying, through at least one user device , a virtual store to a user through a user interface, wherein said virtual store is a graphical representation of the real store and comprises shelves with a graphical representation of the real products, called virtual products; b) receiving, through said user interface, at least one selection of virtual products by the user, communicating said at least one selection of virtual products to the computer system, wherein the computer system communicates said at least one selection of virtual products to the multi-objective planning system and product recognition system; c) calculate, through the multi-objective planning system and based on the planimetry information of the real store, one or more optimal trajectories for the collection of real products coinciding with the at least one selection of virtual products, communicating said one or more optimal trajectories to the navigation system; d) actuate, through the navigation system, the at least one motor unit of at least one mobile robot
  • the solution before displaying the virtual store and the virtual products, the solution comprises generating, through the computer system, the virtual store with the virtual products based on a set of virtual stores and/or or default virtual products.
  • the solution comprises determining a layout of the virtual store and of the virtual products in the user interface according to previously communicated user preferences, inferred according to their historical purchasing patterns, or entered into the computer system, from the at least one user device or by some other means.
  • the solution comprises going through, by the user and through the user interface, at least one virtual aisle of the virtual store through which the user can go through the virtual store at the same time as View the virtual products arranged on the shelves of the virtual store.
  • the virtual store can be a two-dimensional representation of the real store, consisting of a single aisle with shelves of virtual products on one or both sides, where the user interface comprises at least two views of the store. virtual, one where part of the aisle and the virtual products arranged on the shelves are visualized, and another where the environment of a subset of virtual products is visualized in greater detail.
  • the user journey in the virtual store may comprise displaying pre-generated navigation sequences that closely reflect the user journey in the virtual store, in where said sequences can correspond to a set of navigation images sent by the computer system to the user device through distribution networks.
  • the navigation or journey of the user in the virtual store can be controlled using input elements of the user device, such as keyboard and/or mouse, through gestures on a touch screen or through voice instructions.
  • the actual store layout information comprises the location of each actual product in the actual store.
  • the step of calculating the one or more optimal trajectories is executed based on the location of the coincident real products according to said planimetry information, so that at least one mobile robot goes directly towards said location of the actual products according to the one or more optimal paths.
  • the solution comprises generating and/or updating the planimetry information of the real store, based on the vision information obtained by at least one mobile robot that goes through the virtual store, both in an initial stage and during any collection process. of products.
  • planimetry information of the real store can be updated in real time, with information of location and stock of products, either by means of vision information captured by a mobile robot during its product collection operation, or by mobile robots specially designed for said purposes, capturing associated information when visiting the real store.
  • the step of calculating the one or more optimal trajectories for at least one mobile robot is executed based on one or more of: number of virtual product selections communicated to the computational system; type of actual products matching; and location of matching actual products.
  • the proposed solution comprises coordinating, through the multi-objective planning system, two or more mobile robots for the collection of matching real products associated with one or more selections of virtual products.
  • the multi-objective planning system assigns each matching real product to one of the mobile robots, for example, based on its location in the store or type of actual product to be picked, and the multi-objective planning system matches the path of each mobile robot and the picking order of the matching real products, calculating at least one optimal trajectory for each mobile robot.
  • the multi-objective planning system is capable of generating optimal trajectories for one or more robots, serving one or more purchase orders, where the optimal trajectory calculation can be configured according to multiple operation objectives, such as minimum use of robots, minimum distance traveled or less delay time, for example.
  • the step of collecting the identified matching real products, by actuating the at least one actuator to collect a matching real product, based on the location and distance information of said real product coincident comprises executing a set of movements of the at least one actuator according to a position of the coincident real product and a distance between the at least one actuator and the coincident real product.
  • the at least one actuator proposed by the invention comprises degrees of freedom specially adapted to pick up real products from shelves and move them towards the at least one temporary storage region.
  • the actuator has at least two degrees of freedom, comprising the following movements: in height, along a first vertical axis, encompassing a height of the shelves in the actual store; and in depth, along a first horizontal axis, covering the distance between the mobile robot and the products to be collected.
  • the at least one actuator of the mobile robot comprises a third degree of freedom, comprising movement in rotation, around a second vertical axis, which can coincide with the first vertical axis, encompassing at least two positions, a position of collection of products from shelves of the actual store and a temporary storage position of products in the at least one temporary storage region.
  • the at least one actuator comprises an end effector comprising at least two suction cups, wherein one suction cup is smaller than the other.
  • the end effector comprises two equal size suction cups and a third, smaller size suction cup.
  • Said end effector has at least two degrees of freedom, comprising the following movements: rotation around a second horizontal axis, which can coincide with the first horizontal axis, rotating the end effector to position it correctly in relation to the article or matching product to collect; and tilt, tilting the end effector once the coincident product has been collected, compensating for the weight force of said product.
  • each movement comprises its own drive unit that can be made up of two or more drive subunits, providing: a first drive unit to move the actuator in height, along the vertical axis, where the actuator is configured by a vertically extending main body, a secondary body slidably attached to the main body, and a movement mechanism such as a chain or belt, configured to vertically move said horizontal support, sliding it up and down relative to the main body, encompassing the height of the shelves in the actual store; a second drive unit to move the actuator in depth, along the first horizontal axis, wherein the secondary body is extensible in the horizontal direction, comprising a first section that slides horizontally with respect to a second section on the first horizontal axis, and wherein said extension in the horizontal direction is activated by a movement mechanism such as a chain or belt, configured to move the first section horizontally with respect to the second section; a third drive unit to move the actuator
  • the tilt movement of the end effector is not only used to compensate for the weight force of the harvested product by tilting it up, but can also be used to tilt the end effector down, for example, when the harvested product is deposited in at least a temporary storage region of the mobile robot.
  • the end effector or handling unit formed by at least two different suction cups, one smaller than the other or, preferably, by two suction cups of the same size and a third smaller suction cup. size, is powered by generating vacuum using a vacuum pump.
  • Said vacuum pump together with its operating components such as conduits and valves, is preferably mounted integrally with the secondary body of the actuator, mainly with its second section.
  • Fig. shows a perspective view of a mobile robot according to a first embodiment of the invention.
  • Fig. Ib shows a front view of the mobile robot according to Fig. la.
  • Fig. 1c shows a side view of the mobile robot according to Fig. la.
  • Fig. Id shows a front view of a mobile robot according to a second embodiment of the invention.
  • Fig. shows you a side view of the mobile robot according to Fig. Id.
  • Fig. If shows a side view of a mobile robot according to a third embodiment of the invention.
  • Fig. lg shows a perspective view of the mobile robot according to Fig. If.
  • Fig. Ih shows a front view of the mobile robot according to Fig. If.
  • Fig. li shows a perspective view of part of the end effector of the mobile robot according to Fig. If.
  • Fig. Ij shows a top view of part of the end effector of the mobile robot according to Fig. If.
  • Fig. 2a shows a first visualization of the virtual store, according to an embodiment of the invention.
  • Fig. 2b shows a second display of the virtual store, according to an embodiment of the invention.
  • Fig. 2c shows a third display of the virtual store, according to an embodiment of the invention.
  • Fig. 3a shows a plan view of a real store, where an optimal trajectory for picking a selection of products by a mobile robot is superimposed.
  • Fig. 3b shows a plan view of a real store, where optimal trajectories for picking a selection of products are superimposed by three mobile robots.
  • Fig. 4a shows a first example of the vision information captured by the vision lord set, once processed by the identification algorithms.
  • Fig. 4a shows a second example of the vision information captured by the vision lord set, once processed by the identification algorithms.
  • the present invention comprises mobile robots specially designed to pick or retrieve products from shelves in stores, for example, in supermarkets. Since the products in such stores have different shapes and sizes, one embodiment of the invention comprises a set of mobile robots with specific designs to retrieve different types of products. For example, a first mobile robot to retrieve smaller and heavier products, up to 3 kg, a second robot mobile to recover products of medium size and greater weight. And a third mobile robot to recover large products. Similarly, there may be mobile robots specially designed to retrieve products with special geometries, such as sheets or sleeping bags, which are usually presented without packaging, as well as mobile robots designed for a wide range of products, with two or more suction cups. of different abilities as part of an end effector.
  • the mobile robot (1) is formed by a body comprising three main components: a mobile base (2), which comprises at least one unit motor configured to drive and steer the mobile robot; at least one actuator (3) or robotic arm arranged on the mobile base (2), configured to manipulate and move real products from the shelves of the real store; and at least one temporary storage region (4) arranged on the mobile base (2), configured to receive real products from the at least one actuator (3).
  • a mobile base (2) which comprises at least one unit motor configured to drive and steer the mobile robot
  • at least one actuator (3) or robotic arm arranged on the mobile base (2), configured to manipulate and move real products from the shelves of the real store
  • at least one temporary storage region (4) arranged on the mobile base (2), configured to receive real products from the at least one actuator (3).
  • the mobile robot of the invention is capable of operating by receiving and processing purchase orders or product selections received by any other means, that is, not necessarily from a selection of virtual products from a virtual store by a user.
  • the selection of virtual products that the computer system receives can be replaced by a list of products received through a telephone call or predetermined in a user account.
  • the mobile base (2) is made up of a low-height structure, which houses the motor unit of the mobile robot inside.
  • the height of the mobile base (2) is low to allow the at least one actuator (3) on said mobile base (2) to cover practically the entire height of the shelves in stores, which are usually deployed close to ground level.
  • the motor unit comprises all the components required to drive the mobile robot (1), that is, at least one power and load unit (21) connected to at least a battery (22), one or more motors (23), preferably one for each drive element or wheel (24), control and processing units associated with the robot drive (not shown).
  • the mobile base (2) can also comprise one or more processing and communications units, as well as sensors associated with the navigation system of the mobile robot, for example, infrared type sensors (25 ) and/or of the LIDAR (Laser/Light Detection and Ranging) type (26), to detect obstacles.
  • sensors associated with the navigation system of the mobile robot for example, infrared type sensors (25 ) and/or of the LIDAR (Laser/Light Detection and Ranging) type (26), to detect obstacles.
  • Fig. Ib and Fig. 1c more details of the mobile base (2) can be seen, which is shown without side covers to visualize the interior of it, p. eg some free wheels (27) arranged towards each corner of the mobile base, to facilitate the stability of the mobile robot, a front cover (28) with contact sensors, charging port (29) and other representations through boxes that represent some of robot units.
  • the mobile base (2) is connected to a support (31) that supports at least one actuator (3) arranged on said mobile base (2), where said support (31) can comprise an axis of rotation for the rotation of the actuator (3) around a second vertical axis (V2), as shown in Fig. le.
  • the actuator (3) or robotic arm is formed by a base or support (31), a main body (32) that extends vertically, comprising guide component (321) presented in the form of a rail, by which a secondary body (33) slidably attached to the main body (32) slides vertically, along a first vertical axis (VI), as shown shown in Fig. Id.
  • Said secondary body (33), which extends horizontally, is extensible in the horizontal direction, comprising a first section (331) that slides horizontally with respect to a second section (332), along a first horizontal axis (Hl), as shown in Fig. Id.
  • an end effector (34) or article or product handling unit is arranged, for example, formed by means of a mechanism effector in the form of suction cups, which apply suction to retrieve items from shelves and position them in the temporary storage region (4).
  • the actuator (3) is capable of executing a set of movements to collect products from the shelves and position them in the temporary storage region (4), said movements controlled by the recognition system that the robotic system has. of the invention.
  • the product recognition system activates the actuator (3) by moving the secondary body (33) on the first vertical axis (VI), positioning said secondary body (33) at a suitable height, according to the information on the location of the product on the shelf.
  • the recognition system activates the actuator (3) moving the secondary body (33), extending the first section (331) of it towards the product to be recovered, along the first horizontal axis (Hl), according to the distance information.
  • the recognition system activates the actuator (3), activating the effector to retrieve the product from the shelf.
  • the recognition system initiates a set of movements intended to place said recovered product in the temporary storage region (4) of the robot (1).
  • the product recognition system comprises routines for retrieving or picking products from shelves located in the vicinity of a mobile robot.
  • Said routines operate based on the vision information captured by the vision sensor assembly of the mobile robot, using an image sensor, such as an RGB-D (Red Green Blue - Depth) type sensor, and identifying which is the product that stands in front of the robot.
  • the routines include positioning the end effector of the actuator so that it is in contact with the product, then executing different actions depending on which object was identified.
  • the searched product has been identified and its position detected, based on information from the vision sensor assembly located in the effector, which acquires image and distance information, called vision information, the calculates the curvature and center of the visible surface of the required product.
  • the point of application of the suction is determined, in order to locate the effector in a stable point that maximizes the normal to the point of suction and with it the adherence of the product to the effector.
  • the system determines the positioning of the end effector and suction cups, also selecting which cups to activate to optimize the adherence of the product to the effector.
  • the image sensor which can be made up of a first camera intended to provide distance information (Depth) and a second camera intended to provide shape information (RGB), is located in the end effector, allowing the collection of products is automatic, without human supervision. Said image sensor and end effector configuration allows: product detection, recognition, detection of its surface and detection of adequate points to locate the suction cups when taking the product, among others.
  • the routines comprise different sets of movements and effector performances, e.g. eg suction pressure level, depending on the type of product to be recovered.
  • a control system for an actuator or robotic arm is implemented. Said control system is configured to control and monitor points in space according to the position from which a product is retrieved and according to the position where each product taken by the robot is to be left.
  • the robotic arm or actuator is capable of moving autonomously in such a way that its final effector accesses the desired positions.
  • suction cups in the end effector (34) of the robotic arm is performed, as shown in greater detail in Fig. li.
  • a vacuum pump (35) with suction cups is integrated into the end effector (34) of the actuator (3), as shown in Fig. If, comprising suction and blow instructions from a controller. This way you can send a suck instruction when you want to pick up an object, and then a blow instruction when you want to drop the object.
  • suction cups instead of a gripper allows taking products with a wide variety of shapes, since the shape of the suction cups adapts to the surface of the object in question.
  • the vacuum pump (35) is mounted on the secondary body (33) of the actuator (3), either in the first section (331) of said secondary body (33), integral with said first section (331), or in the second section (332).
  • said vacuum pump (35) is capable of taking objects up to 3 kg in weight, but depending on the type of products to be recovered, it is possible to manage the operation of mobile robots specially designed for heavier products, integrating suction pumps of greater power or other types of actuators specially designed for this purpose.
  • Fig. li shows a detailed schematic of the end effector according to the preferred embodiment of the invention, comprising first and second suction cups (341, 342) of equivalent size and capacity and a third suction cup ( 343) of smaller size and capacity.
  • the mobile robot has the capacity to collect different types of products, granting greater versatility to its operation.
  • Fig. li part of the movement mechanisms of the end effector with respect to rotation about the second horizontal axis and tilt movement can be seen. Said mechanisms are shown in greater detail in Fig. Ij, where the second horizontal axis (H2) and the axis around which the inclination movement is executed (H3) are represented.
  • the temporary storage region (4) is a portion of the mobile robot specially designed for the collection and temporary transport of the products collected from shelves, while the mobile robot (1) completes a product collection path. According to one embodiment, it corresponds to a shelf structure (41) mounted on the base (2) of the mobile robot. This product storage structure is specially designed so that the robotic arm or actuator (3) can rotate on its second vertical axis (V2) and then deposit the products on shelves (41) located at different heights in the robot body (1 ). These shelves (41), according to one modality, contain independent baskets (42) that allow the robot to collect products of different types or separately collect products corresponding to different purchase orders.
  • said temporary storage region (4) is configured by a set of basket-type shelves (42), integrated into the body of the mobile robot, arranged in the vicinity of the actuator (3) to receive the recovered products and transport them during the robot's journey (1).
  • the multi-objective planning system includes information on the type of temporary storage region (4) and its capacity, in order to adequately assign the product recovery trajectory based on the transport capacity of each mobile robot.
  • the user interface comprises a virtual graphical representation of a real store, including a virtual representation of the products therein.
  • Said user interface can be preconfigured according to the needs and preferences of the user, showing different types of virtual products available and arranging them in a single aisle or in multiple aisles, for example.
  • the virtual supermarket aisles are organized according to product categories, for example, dairy, beverages, cereals, etc.
  • the user can walk through each aisle sequentially according to a predetermined configuration in the sequence of product categories, eg by a user preset selection, user preferences or purchase history. Alternatively, through a selection menu, the user can jump directly and dynamically to the area or section corresponding to a particular category of products.
  • Fig. 2a shows a graphical representation of a virtual store that has a single aisle with a single shelf, simplifying the actual layout of the store. Indeed, the virtual graphic representation does not seek to resemble the layout of a store, but rather seeks to show the virtual products in a familiar, friendly and simplified way, reducing the computational requirement of the user device.
  • FIG. 2b Another example of graphical representation is shown in Fig. 2b, which allows a greater detail of the virtual products on the shelf close to the position of a virtual user.
  • a third graphical representation is shown in Fig. 2c, showing multiple shelves and aisles, more similar to a real store. Said dissipation requires greater graphics processing capacity on the part of the user device.
  • the graphic representation of the real store is not necessarily an exact simulation of a real store, but can be any representation that displays the virtual products to favor the user experience, which usually corresponds to a representation of a store.
  • the multi-objective planning system of the invention is configured to, according to the planimetry information of the real store (store layout), calculate optimal trajectories for the collection of the products included in a selection of products or order shopping.
  • the multi-objective planning system allows planning a global trajectory that allows autonomous completion of a purchase order.
  • Said global trajectory given the layout of the store, comprises a series of points that a mobile robot must follow to complete the received purchase order, for example, generated in the virtual supermarket interface.
  • Fig. 3a shows a plan view of a store on which the optimal trajectory generated by the multi-objective planning system is superimposed, to collect 30 products selected in a purchase order.
  • the trajectory is indicated with lines that join the products. Represented by boxes, however, it is clear that the glider or planning system delivers valid trajectories without crossing over the shelves, that is, considering that the robot circulates through the aisles of the store.
  • the multi-objective planning system has the ability to coordinate two or more mobile robots, with the objective of retrieving products from one or more product selections or purchase orders at a time.
  • Fig. 3b shows a representation similar to Fig. 3a, but considering three mobile robots to retrieve products from the same selection of 30 products.
  • the planning system considers that the robots available in the store may have different capacities in their end effector to pick up products from the shelf, information that is used when assigning the products to each robot.
  • the product recognition system comprises identification algorithms to identify the products in the real store, that is, to detect and recognize the products on the shelves of a supermarket, for example. To do this, the identification algorithms have the ability to directly identify each product through a visual recognition system in real time.
  • the identification algorithms of the product recognition system are trained to detect products of different types, of different shapes and sizes, and identify them based on reading the information provided on the containers, wrappers or external surface of the products. This is not trivial, since the products available in stores have different shapes and sizes, both with respect to the packaging and with respect to products that are presented unwrapped, a situation that does not occur in warehouses or distribution centers. For example, there are products that are presented in blister, bag, bottle, box, packaging or packs, jars, pots, jars, etc. formats. In addition, the same product can be presented in different formats, for example, in an individual format or in a package.
  • the invention comprises a training stage that requires the identification of various categories of products based on their external appearance, using deep learning algorithms for the detection of said categories from the identification of the shapes from vision information.
  • the training stage makes it possible to obtain a model capable of detecting instances of these categories of products from images captured by the vision sensor assembly arranged in front of the shelf.
  • Fig. 4a shows view information with the identification of a “Box” as a product category
  • Fig. 4b shows view information where the categories “Bag” and “Jar” are identified in the same image.
  • the robot has information on the product being searched for, for example, a box of cereal. This information is used by the robot, which after positioning itself in the shelf area where the required product is potentially located, detects only instances corresponding to the category of product sought. This allows to increase not only the effectiveness of the detector, but also reduces the information processing load of the robot.
  • the robot executes text and label detection algorithms in the areas corresponding to these detections.
  • These algorithms have been previously trained with examples of texts and product labels, based on deep learning techniques, reaching high levels of effectiveness.
  • the texts and labels read are then compared with a database with data on the texts present in the searched product, performing recognition if there is a significant match.
  • the algorithm is not designed to read texts in a generic way, but to find a match between the main texts of the searched product and the candidate texts detected in the products located on the shelf.
  • the algorithm uses the image and distance information to determine the precise location and distance of the product from the robot, information that is then used by the mechanism to pick the product from the shelf. Also shown in Fig. 4a and Fig. 4b are examples of the detection of texts with respect to the displayed viewing information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Manipulator (AREA)

Abstract

Un método de operación y sistema robótico autónomo para la recolección de productos en forma remota en tiendas. El sistema incluye un robot móvil (1), y sistemas de navegación, reconocimiento de productos y planeamiento multiobjetivo. Donde el robot móvil (1) comprende sensores de visión para obtener información de imágenes y distancia, una base móvil (2), un actuador (3) o brazo robótico, dispuesto sobre la base móvil, y que puede realizar movimientos en altura, profundidad y rotación para manipular y mover productos desde las estanterías de la tienda a una región de almacenamiento temporal (4). Donde dicho actuador (3) comprende un efector final (34) con al menos dos copas de succión de diferentes tamaños y que posee movimientos de rotación e inclinación en tomo a un eje vertical. Donde el sistema de reconocimiento de productos comprende algoritmos de identificación configurados para reconocer a partir de la información de visión, formas de objetos correspondientes a una forma exterior, y leer logos o textos de los productos identificando los productos, obteniendo información de ubicación y distancia de los productos identificados. Donde el objetivo principal de la invención es proporcionar un robot móvil capaz de recolectar y manipular artículos o productos de diferentes formas y tamaños, sin la necesidad de intervención de operadores ni reemplazo de herramientas que involucren indisponibilidades del sistema.

Description

SISTEMA ROBOTICO AUTONOMO PARA LA RECOLECCION DE PRODUCTOS
MEMORIA DESCRIPTIVA
[0001] La invención se refiere a un sistema robótico autónomo para la recolección de productos. Además, la invención se refiere a un actuador especialmente diseñado para la recuperación de productos desde estanterías en una tienda y a la posibilidad de utilizar dicho sistema en forma remota mediante un método de operación de un sistema robótico autónomo para la recolección de productos en forma remota a partir de una tienda virtual.
[0002] El objetivo principal de la invención es proporcionar un robot móvil que sea capaz de navegar autónomamente por los pasillos de una tienda o locación real, con la capacidad de recolectar diferentes productos desde estanterías en dicha tienda. De acuerdo con una modalidad, la recolección de productos se realiza a partir de una selección de productos a recolectar, que puede ser emitida por un usuario en forma remota, en donde dicha selección de productos se ejecuta mediante una interface de usuario con una representación gráfica virtual de la tienda o locación real.
[0003] Específicamente, la solución propuesta soluciona problemas asociados a la compra de productos en tiendas, principalmente a la coordinación y planeamiento de trayectorias, a la navegación autónoma dentro de una tienda, al reconocimiento de productos en estanterías, y a la manipulación y recolección robótica de productos desde estanterías.
ANTECEDENTES
[0004] Actualmente existe un creciente interés en adoptar tecnologías asociadas a la automatización e implementación de sistemas robóticos autónomos que asistan en diferentes quehaceres de la vida cotidiana. La compra de productos en la industria de retail es uno de los quehaceres que demanda más tiempo por parte de los consumidores, tanto respecto al traslado hacia tiendas como respecto al mismo proceso de compra, que significa recorrer un gran número de pasillos de la tienda mientras se seleccionan los productos. Por lo tanto, surge la necesidad de facilitar el proceso de compra y, en lo posible, evitar traslados a tiendas para ejecutar dicho proceso de compra, necesidad que actualmente es abordada por las compras en línea y despachos a domicilio, principalmente. Además, este tipo de soluciones también resuelven problemas asociados a la imposibilidad de asistir a una tienda, ya sea por restricciones de tiempo y/o desplazamiento.
[0005] La gran mayoría de las soluciones existentes se encuentran diseñadas para recorrer espacios especialmente diseñados para el movimiento de robots o maquinaria, como bodegas o centros de distribución con guías o estructuras especiales para la operación de cada robot, así como también para recuperar o recolectar productos con empaques especiales que facilitan la manipulación. Estos escenarios y soluciones no contemplan las dificultades asociadas a recorrer espacios de tiendas reales, como tiendas de supermercado de atención directa al cliente, ni a manipular productos dispuestos en dichas tiendas reales, disposición que no solo involucra empaques y productos de distintos tamaños y formas, sino que se encuentra en constante evolución respecto a la disposición en las estanterías y stock de productos.
[0006] Entre las soluciones más destacables se encuentra la propuesta en W02016014917A1, donde se describe un robot autónomo que posee un brazo articulado para la recolección de productos o artículos desde estanterías. Si bien dicha solución plantea capacidades que serían similares a la invención, indicando que los efectores finales pueden ser de distinto tipo para recolectar productos diferentes, sus principales desventajas radican en que tiene un diseño no optimizado para la recolección de diferentes tipos de productos desde estanterías de una tienda real, además de proponer una configuración robótica compleja y poco escalable. En efecto, para ampliar la versatilidad del sistema propuesto en W02016014917A1 se deben realizar operaciones de reemplazo o adecuación de efectores finales en función del tipo de producto a recolectar, imposibilitando su implementación donde los productos a recolectar tienen una gran variación tanto en su configuración externa (formas y tipos de envases) como en sus propiedades (peso, volumen, centro de masa, etc.). Además, en términos de la configuración del brazo robótico utilizado para posicionar el efector final frente al producto objetivo, el sistema propuesto en W02016014917A1 consiste en un brazo robótico con al menos 5 articulaciones. Para el caso de recolección de productos desde estanterías de tiendas de retail, esta configuración introduce una complejidad innecesaria que puede ser resulta mediante el uso de una configuración más simple especialmente diseñada para el escenario descrito.
[0007] En consecuencia, existe la necesidad de una solución robótica capaz de adaptarse al ambiente de una tienda real, no solo en términos de la búsqueda e identificación de productos o artículos a recolectar, sino que también sea capaz de recolectar distintos tipos de productos sin la necesidad de intervención de operadores ni reemplazo de herramientas que involucren indisponibilidades del sistema.
[0008] Por otra parte, en la industria del retail, la gran tendencia actual es el explosivo crecimiento de la modalidad de venta por internet. Sin embargo, en la industria de los alimentos, la penetración de las ventas en línea ha sido más moderada. En este ámbito, el mercado continúa siendo ampliamente dominado por el formato de megatienda física: supermercados e hipermercados. La situación actual indica una urgente necesidad por desarrollar tecnologías que mejoren los aspectos logísticos detrás del manejo de las órdenes de compra generadas por la venta en línea, por ejemplo, reduciendo los tiempos y/o costos asociados a la recolección y empaque de productos, lo cual permite minimizar el costo de operación. Además, es deseable contar con alternativas para mejorar la experiencia de compra en línea, por ejemplo, acercando la experiencia de compra virtual a la experiencia de compra presencial en tienda.
[0009] Por lo tanto, es necesario contar con un sistema robótico autónomo que entregue una solución integral a los principales problemas que conlleva la recolección de productos diferentes en una tienda, de acuerdo con lo indicado anteriormente, comprendiendo un actuador especialmente diseñado para recolectar productos desde estanterías en tiendas. Además, es deseable que dicha solución pueda integrarse en una plataforma de experiencia de usuario asociada a compra virtual, que mejore la experiencia de usuario mediante una metodología de operación del sistema robótico autónomo.
DESCRIPCIÓN DE LA INVENCIÓN
[0010] A diferencia de las soluciones existentes, la solución propuesta presenta un sistema robótico especialmente diseñado para la recolección de artículos en tiendas, con capacidad de manipular artículos o productos de diferentes formas y tamaños. Además, la solución puede incorporar una interface de usuario que no simula la tienda física ni genera una representación de realidad virtual 3D, sino que genera una representación virtual de la tienda que asemeja la tienda real, pero con una configuración adaptada a las necesidades o preferencias de cada usuario, especialmente diseñada para facilitar su uso en dispositivos portables. En este sentido, la interface propuesta no necesita equipamiento de realidad virtual, sino que está pensada para que el usuario la ejecute directamente en la pantalla de su dispositivo portable. Por ejemplo, la representación virtual puede incluir sólo un pasillo infinito, que puede ser recorrido en forma secuencial o saltando a distintas secciones según la selección de categorías o productos específicos.
[0011] Como se ha destacado, con objeto de realizar la recolección en tienda de productos, la solución incorpora uno o más robot móvil autónomos, cada uno dotado de un mecanismo especialmente diseñado para recoger y recolectar los productos desde estantería mientras se desplaza en forma autónoma por la tienda. Específicamente, dada una selección o lista de productos, y un mapa de la tienda con la planimetría (layout) de las estanterías, la solución propuesta incorpora un sistema de planeamiento que calcula una trayectoria óptima para que el robot realice la recolección de todos los productos requeridos en forma eficiente.
[0012] Además, la solución incluye un sistema de reconocimiento visual para identificar los productos reales directamente en las estanterías de la tienda, sin la necesidad de códigos especiales que faciliten la identificación de cada producto, así como también comprende componentes especialmente diseñados para recolectar y transportar productos desde estanterías de una tienda, como un supermercado o una bodega de acopio de productos.
[0013] Para ello, la invención se refiere a un sistema robótico autónomo para la recolección de productos en una tienda real, que comprende. al menos una tienda real, que comprende estanterías con productos reales; al menos un robot móvil, que está formado por un cuerpo que comprende: o al menos una unidad de procesamiento; o al menos una unidad de comunicaciones; o al menos un conjunto sensor de visión, configurado para obtener información de imagen e información de distancia, denominada información de visión; o una base móvil, que comprende al menos una unidad motriz configurada para impulsar y dirigir al robot móvil; o al menos un actuador dispuesto sobre la base móvil, configurado para manipular y mover productos reales desde las estanterías de la tienda real; y o al menos una región de almacenamiento temporal dispuesta sobre la base móvil, configurada para recibir productos reales desde el al menos un actuador; un sistema de navegación en comunicación con la al menos una unidad motriz, a través de la al menos una unidad de comunicaciones y de la al menos una unidad de procesamiento, en donde el sistema de navegación accede a información de planimetría de la tienda real; un sistema de reconocimiento de productos en comunicación con el al menos un conjunto sensor de visión, a través de la al menos una unidad de comunicaciones y de la al menos una unidad de procesamiento, en donde el sistema de reconocimiento de productos accede a la información de visión; y un sistema de planeamiento multiobjetivo en comunicación con el sistema de navegación; un sistema computacional en comunicación con el sistema de planeamiento multiobjetivo y con el sistema de reconocimiento de productos; y al menos un dispositivo de usuario en comunicación con el sistema computacional.
[0014] Además, el sistema de la invención puede comprender un sistema computacional en comunicación con el sistema de planeamiento multiobjetivo y con el sistema de reconocimiento de productos, y al menos un dispositivo de usuario en comunicación con el sistema computacional. El sistema computacional, que puede estar integrado en el robot móvil y que puede comprender al dispositivo de usuario, uno o más servidores en la red y/o cómputo en la nube, puede estar configurado para procesar una representación gráfica de la tienda real, que se denomina tienda virtual. La tienda virtual puede comprender estanterías con una representación gráfica de productos reales, denominada productos virtuales. Los productos virtuales se pueden disponer en las estanterías de la tienda virtual de una manera similar a la real, que puede recrearse en función de preferencias del usuario.
[0015] El al menos un dispositivo de usuario, que puede corresponder a un dispositivo portable, como un Smartphone, puede estar configurado para mostrar la tienda virtual a un usuario a través de una interface de usuario, por ejemplo, mediante una aplicación instalada en el dispositivo de usuario o mediante el acceso a una página web. Dicha interface de usuario puede estar configurada para recibir al menos una selección de productos virtuales por parte del usuario, por ejemplo, mediante la generación de una canasta de productos u orden de compra, y para comunicar dicha al menos una selección de productos virtuales al sistema computacional. De acuerdo con una alternativa, el sistema computacional recibe una selección de productos que corresponde a uno o una combinación de, una selección de productos en tiempo real, por parte de un usuario, o una selección de productos predeterminada, no necesariamente desde una fuente de tienda virtual. [0016] El sistema computacional puede estar configurado para recibir la al menos una selección de productos virtuales y para comunicarla al sistema de planeamiento multiobjetivo y al sistema de reconocimiento de productos que, independiente de lo anterior, pueden estar integrados en cada robot móvil o en comunicación con los mismos desde una unidad de control central. En base a la información de planimetría de la tienda real o layout de la tienda, que comprende no solo distribución de pasillos en la tienda, sino que también la ubicación de los productos, el sistema de planeamiento multiobjetivo está configurado para calcular una o más trayectorias óptimas para la recolección de productos reales coincidentes con los productos a recolectar, ya sea según una orden de compra preestablecida o mediante la al menos una selección de productos virtuales. Dichas una o más trayectorias óptimas se comunican al sistema de navegación.
[0017] El sistema de navegación, que puede estar integrado en cada robot móvil o en comunicación con los mismos desde una unidad de control central, está configurado para recibir dichas una o más trayectorias óptimas y para accionar la al menos una unidad motriz de al menos un robot móvil para recorrer la tienda real siguiendo al menos una trayectoria óptima recibida. Además, el sistema de navegación puede estar en comunicación con el conjunto sensor de visión, utilizando el mismo para recibir información de imagen y de distancia (información de visión), útil para la navegación del robot. Alternativamente, el sistema de navegación puede estar en comunicación con un conjunto sensor de navegación dispuesto en el robot móvil y similar al conjunto sensor de visión, pero especialmente diseñado para capturar información de navegación para la navegación del robot. Dicha información de navegación puede ser del mismo tipo que la información de visión, es decir, información de imagen y distancia.
[0018] El sistema de reconocimiento de productos comprende algoritmos de identificación configurados para identificar cada producto real en las estanterías de la tienda real. El al menos un conjunto sensor de visión en comunicación con dicho sistema de reconocimiento de productos está dispuesto para obtener información de visión de las estanterías de la tienda real, dicha información de visión puede comprender información sobre el planograma de al menos una sección de la tienda, incluyendo información de ubicación de los productos en el planograma, por ejemplo, mediante ejes cartesianos X e Y, e información de distancia entre los productos y el robot móvil, por ejemplo, mediante información de distancia desde un sensor adecuado. Los algoritmos de identificación están configurados para reconocer formas de objetos correspondientes a una forma exterior de los productos reales en dicha información de visión, y para leer logos o textos de los productos reales en dicha información de visión, particularmente en la información de imagen, identificando los productos reales y obteniendo información de ubicación y distancia de los productos reales identificados.
[0019] Cuando un robot móvil que recorre la tienda real, siguiendo al menos una de las trayectorias óptimas, identifica un producto real coincidente con uno de los productos de la selección de productos a recolectar, por ejemplo, con uno de los productos virtuales de la al menos una selección de productos virtuales recibida, el sistema de reconocimiento de productos está configurado para accionar la al menos una unidad motriz del al menos un robot móvil para posicionarse en la cercanía de la estantería donde se encuentra dicho producto real coincidente y para accionar el al menos un actuador del al menos un robot móvil en base a la información de ubicación y distancia del producto real coincidente, para recolectar el producto real coincidente desde la estantería y situarlo en la al menos una región de almacenamiento temporal. Una vez que el producto real coincidente se encuentra en la región de almacenamiento temporal, el robot móvil puede continuar con la al menos una trayectoria óptima para recolectar el siguiente producto o para finalizar dicha trayectoria.
[0020] En este contexto, el método de operación del sistema robótico autónomo definido anteriormente, para la recolección de productos en forma remota a partir de una tienda virtual, comprende las etapas de: a) mostrar, mediante el al menos un dispositivo de usuario, una tienda virtual a un usuario a través de una interface de usuario, en donde dicha tienda virtual es una representación gráfica de la tienda real y comprende estanterías con una representación gráfica de los productos reales, denominada productos virtuales; b) recibir, mediante dicha interface de usuario, al menos una selección de productos virtuales por parte del usuario, comunicando dicha al menos una selección de productos virtuales al sistema computacional, en donde el sistema computational comunica dicha al menos una selección de productos virtuales al sistema de planeamiento multiobjetivo y al sistema de reconocimiento de productos; c) calcular, mediante el sistema de planeamiento multiobjetivo y en base a la información de planimetría de la tienda real, una o más trayectorias óptimas para la recolección de productos reales coincidentes con la al menos una selección de productos virtuales, comunicando dichas una o más trayectorias óptimas al sistema de navegación; d) accionar, mediante el sistema de navegación, la al menos una unidad motriz de al menos un robot móvil para recorrer la tienda real siguiendo al menos una trayectoria óptima recibida; e) identificar, mediante el sistema de reconocimiento que comprende algoritmos de identificación, productos reales coincidentes con los productos virtuales de la al menos una selección de productos virtuales recibida, comprendiendo: e.l) obtener, mediante el al menos un conjunto sensor de visión, información de visión de las estanterías de la tienda real, e.2) reconocer formas de objetos correspondientes a una forma exterior basada en la apariencia visual de los productos reales en dicha información de visión, y e.3) leer logos o textos de los productos reales en dicha información de visión, identificando los productos reales coincidentes y obteniendo información de ubicación y distancia de los productos reales coincidentes identificados; f) recolectar los productos reales coincidentes identificados, en donde el sistema de reconocimiento de productos acciona la al menos una unidad motriz del al menos un robot móvil para posicionarse en la cercanía de la estantería donde se encuentra un producto real coincidente identificado y acciona el al menos un actuador del al menos un robot móvil en base a información de ubicación y distancia del producto real coincidente identificado con objeto de realizar su recolección desde la estantería de la tienda real; g) situar los productos reales recolectados en la al menos una región de almacenamiento temporal ubicada en el cuerpo del al menos un robot móvil; y h) continuar con la al menos una trayectoria óptima.
[0021] De acuerdo con una modalidad de la invención, antes de mostrar la tienda virtual y los productos virtuales, la solución comprende generar, mediante el sistema computacional, la tienda virtual con los productos virtuales en base a un conjunto de tiendas virtuales y/o productos virtuales predeterminados. Además, de acuerdo con una alternativa la solución comprende determinar una disposición de la tienda virtual y de los productos virtuales en la interface de usuario de acuerdo con preferencias de usuario previamente comunicadas, inferidas según sus patrones históricos de compra, o ingresadas al sistema computacional, desde el al menos un dispositivo de usuario o por algún otro medio.
[0022] De acuerdo con una modalidad de la invención, la solución comprende recorrer, por el usuario y mediante la interface de usuario, al menos un pasillo virtual de la tienda virtual por el cual el usuario puede recorrer la tienda virtual al mismo tiempo que visualiza los productos virtuales dispuestos en las estanterías de la tienda virtual. A modo de ejemplo, la tienda virtual puede ser una representación bidimensional de la tienda real, formada por un único pasillo con estanterías de productos virtuales en uno o ambos de los costados, en donde la interface de usuario comprende al menos dos visualizaciones de la tienda virtual, una donde se visualiza parte del pasillo y los productos virtuales dispuestos en las estanterías y otra donde se visualiza con mayor detalle el entorno de un subconjunto de productos virtuales. Dichas opciones, u otras alternativas de visualization de interface de usuario, pueden ser seleccionadas por cada usuario según sus preferencias. En este contexto, de acuerdo con una alternativa especial para equipos de usuario de bajo rendimiento, el recorrido del usuario en la tienda virtual puede comprender mostrar secuencias de navegación pre-generadas que reflejan en forma cercana el recorrido del usuario en la tienda virtual, en donde dichas secuencias pueden corresponder a un conjunto de imágenes de navegación enviadas por el sistema computacional al dispositivo de usuario mediante redes de distribución. La navegación o recorrido del usuario en la tienda virtual puede controlarse utilizando elementos de entrada del dispositivo de usuario, como teclado y/o mouse, mediante gestos en una pantalla táctil o mediante instrucciones de voz.
[0023] De acuerdo con una modalidad de la invención, la información de planimetría de la tienda real comprende la ubicación de cada producto real en la tienda real. En esta modalidad, la etapa de calcular la una o más trayectorias óptimas se ejecuta en base a la ubicación de los productos reales coincidentes de acuerdo con dicha información de planimetría, de modo que al menos un robot móvil se dirige directamente hacia dicha ubicación de los productos reales de acuerdo con la una o más trayectorias óptimas. Alternativamente, la solución comprende generar y/o actualizar la información de planimetría de la tienda real, en base a la información de visión obtenida por al menos un robot móvil que recorre la tienda virtual, tanto en una etapa inicial como durante cualquier proceso de recolección de productos. A modo de ejemplo, la información de planimetría de la tienda real puede actualizarse en tiempo real, con información de ubicación y stock de productos, ya sea mediante la información de visión capturada por un robot móvil durante su operación de recolección de productos, o mediante robot móviles especialmente diseñados para dichos efectos, capturando información asociada al recorrer la tienda real.
[0024] De acuerdo con una modalidad de la invención, la etapa de calcular la una o más trayectorias óptimas para al menos un robot móvil se ejecuta en base a uno o más de: número de selecciones de productos virtuales comunicadas al sistema computacional; tipo de productos reales coincidentes; y ubicación de productos reales coincidentes.
[0025] Alternativamente, la solución propuesta comprende coordinar, mediante el sistema de planeamiento multiobjetivo, dos o más robots móviles para la recolección de productos reales coincidentes asociados a una o más selecciones de productos virtuales. En este caso, el sistema de planeamiento multiobjetivo asigna cada producto real coincidente a alguno de los robots móvil, por ejemplo, en base a su ubicación en la tienda o tipo de producto real a recolectar, y el sistema de planeamiento multiobjetivo adecúa la trayectoria de cada robot móvil y el orden de recolección de los productos reales coincidentes, calculando al menos una trayectoria óptima para cada robot móvil. A mayor abundamiento, el sistema de planeamiento multiobjetivo es capaz de generar trayectorias óptimas para uno o más robots, atendiendo una o más órdenes de compra, donde el cálculo de trayectoria óptima puede ser configurado de acuerdo con múltiples objetivos de operación, tales como mínimo uso de robots, mínima distancia recorrida o menos tiempo de demora, por ejemplo.
[0026] De acuerdo con una modalidad de la invención, la etapa de recolectar los productos reales coincidentes identificados, mediante el accionamiento del al menos un actuador para recolectar un producto real coincidente, en base a la información de ubicación y distancia de dicho producto real coincidente, comprende ejecutar un conjunto de movimientos del al menos un actuador de acuerdo con una posición del producto real coincidente y una distancia entre el al menos un actuador y el producto real coincidente.
[0027] En este contexto, el al menos un actuador que propone la invención comprende grados de libertad especialmente adaptados para recolectar productos reales desde estanterías y moverlos hacia la al menos una región de almacenamiento temporal. En este sentido, el actuador posee al menos dos grados de libertad, comprendiendo los siguientes movimientos: en altura, a lo largo de un primer eje vertical, abarcando una altura de las estanterías en la tienda real; y en profundidad, a lo largo de un primer eje horizontal, abarcando la distancia entre el robot móvil y los productos a recolectar.
[0028] Además, el al menos un actuador del robot móvil comprende un tercer grado de libertad, comprendiendo movimiento en rotación, alrededor de un segundo eje vertical, que puede coincidir con el primer eje vertical, abarcando al menos dos posiciones, una posición de recolección de productos desde estanterías de la tienda real y una posición de almacenamiento temporal de productos en la al menos una región de almacenamiento temporal.
[0029] Por otra parte, el al menos un actuador comprende un efector final que comprende al menos dos copas de succión, en donde una copa de succión es de menor tamaño que la otra. Preferentemente, el efector final comprende dos copas de succión de igual tamaño y una tercera copa de succión de menor tamaño. Dicho efector final, a su vez, posee al menos dos grados de libertad, comprendiendo los siguientes movimientos: rotación alrededor de un segundo eje horizontal, que puede coincidir con el primer eje horizontal, rotando el efector final para posicionarlo correctamente en relación con el artículo o producto coincidente a recolectar; e inclinación, inclinando el efector final una vez que se ha recolectado el producto coincidente, compensando la fuerza peso de dicho producto.
[0030] Los movimientos del al menos un actuador y de su efector final son accionados por al menos una unidad de impulsión. Preferentemente, cada movimiento comprende su propia unidad de impulsión que puede estar formada de dos o más subunidades de impulsión, disponiéndose: una primera unidad de impulsión para mover el actuador en altura, a lo largo del eje vertical, en donde el actuador se configura mediante un cuerpo principal que se extiende verticalmente, un cuerpo secundario unido de manera deslizante al cuerpo principal y un mecanismo de movimiento como una cadena o correa, configurado para mover verticalmente dicho soporte horizontal, deslizándolo hacia arriba y hacia abajo respecto del cuerpo principal, abarcando la altura de las estanterías en la tienda real; una segunda unidad de impulsión para mover el actuador en profundidad, a lo largo del primer eje horizontal, en donde el cuerpo secundario es extensible en dirección horizontal, comprendiendo una primera sección que se desliza horizontalmente respecto de una segunda sección sobre el primer eje horizontal, y en donde dicha extensión en dirección horizontal es activada por un mecanismos de movimiento como una cadena o correa, configurado para mover horizontalmente la primera sección respecto de la segunda sección; una tercera unidad de impulsión para mover el actuador en rotación, alrededor del segundo eje vertical, en donde el cuerpo principal del actuador está articulado para rotar entre al menos dos posiciones, una posición de recolección de productos desde estanterías de la tienda real y una posición de almacenamiento temporal de productos en la al menos una región de almacenamiento temporal, y en donde dicha articulación es activada por un mecanismo de movimiento como una cadena o correa o engranaje, configurado para rotar el cuerpo principal alrededor del segundo eje vertical; una cuarta unidad de impulsión para rotar el efector final, alrededor del segundo eje horizontal, en donde dicha el efector final o unidad de manipulación, que se dispone en un extremo de la primera sección del cuerpo secundario del actuador, está articulado para rotar sobre el segundo eje horizontal; y en donde dicha articulación es activada por un mecanismo de movimiento como una correa, cadena o engranaje, configurado para rotar el efector final alrededor del segundo eje horizontal; y una quinta unidad de impulsión para inclinar el efector final hacia arriba, compensando la fuerza peso del producto recolectado, en donde el efector final o unidad de manipulación está articulado para inclinarse, introduciendo un ángulo de inclinación entre un eje de accionamiento del efector y un plano horizontal, y en donde dicha articulación es activada por un mecanismo de movimiento como una cadena, correa o engranaje, configurado para inclinar el efector final. El movimiento de inclinación del efector final no solo se utiliza para compensar la fuerza peso del producto recolectado mediante una inclinación hacia arriba, sino que también puede usarse para inclinar el efector final hacia abajo, por ejemplo, cuando el producto recolectado es depositado en al menos una región de almacenamiento temporal del robot móvil.
[0031] Finalmente, el efector final o unidad de manipulación, formado por al menos dos copas de succión diferentes, una de menor tamaño que la otra o, preferentemente, por dos copas de succión de igual tamaño y una tercera copa de succión de menor tamaño, es accionado mediante la generación de vacío mediante una bomba de vacío. Dicha bomba de vacío, junto con sus componentes operativos como conductos y válvulas, se monta, preferentemente, de manera solidaria al cuerpo secundario del actuador, principalmente a su segunda sección.
BREVE DESCRIPCIÓN DE LAS FIGURAS
[0032] Como parte de la presente invención se presentan las siguientes figuras representativas de la misma, las que enseñan modalidades preferentes de la invención y, por lo tanto, no deben considerarse como limitantes a la definición de la materia reivindicada.
La Fig. la muestra una vista en perspectiva de un robot móvil de acuerdo con una primera modalidad de la invención.
La Fig. Ib muestra una vista frontal del robot móvil de acuerdo con la Fig. la.
La Fig. 1c muestra una vista lateral del robot móvil de acuerdo con la Fig. la.
La Fig. Id muestra una vista frontal de un robot móvil de acuerdo con una segunda modalidad de la invención.
La Fig. le muestra una vista lateral del robot móvil de acuerdo con la Fig. Id. La Fig. If muestra una vista lateral de un robot móvil de acuerdo con una tercera modalidad de la invención.
La Fig. lg muestra una vista en perspectiva del robot móvil de acuerdo con la Fig. If.
La Fig. Ih muestra una vista frontal del robot móvil de acuerdo con la Fig. If.
La Fig. li muestra una vista en perspectiva de parte del efector final del robot móvil de acuerdo con la Fig. If.
La Fig. Ij muestra una vista superior de parte del efector final del robot móvil de acuerdo con la Fig. If.
La Fig. 2a muestra una primera visualization de la tienda virtual, de acuerdo con una modalidad de la invención.
La Fig. 2b muestra una segunda visualization de la tienda virtual, de acuerdo con una modalidad de la invención.
La Fig. 2c muestra una tercera visualization de la tienda virtual, de acuerdo con una modalidad de la invención.
La Fig. 3a muestra una vista en planta de una tienda real, donde se superpone una trayectoria óptima para recolectar una selección de productos mediante un robot móvil.
La Fig. 3b muestra una vista en planta de una tienda real, donde se superponen trayectorias óptimas para recolectar una selección de productos mediante tres robots móvil.
La Fig. 4a muestra un primer ejemplo de la información de visión capturada por el conjunto señor de visión, una vez procesada por los algoritmos de identificación.
La Fig. 4a muestra un segundo ejemplo de la información de visión capturada por el conjunto señor de visión, una vez procesada por los algoritmos de identificación.
DESCRIPCIÓN DETALLADA DE MODALIDADES DE LA INVENCIÓN
[0033] En relación con lo descrito previamente en la sección DESCRIPCIÓN DE LA INVENCIÓN, en la presente sección se describen aspectos más específicos de algunas modalidades de la invención. Para ello, se hace referencia a los aspectos principales de la solución planteada.
Robot móvil
[0034] La presente invención comprende robots móviles especialmente diseñados para recolectar o recuperar productos desde estanterías en tiendas, por ejemplo, en supermercados. Dado que los productos en dichas tiendas tienen formas y tamaños diferentes, una modalidad de la invención comprende un conjunto de robots móviles con diseños específicos para recuperar distintos tipos de productos. Por ejemplo, un primer robot móvil para recuperar productos de menor tamaño y peso, de hasta 3 kg, un segundo robot móvil para recuperar productos de tamaño medio y mayor peso. Y un tercer robot móvil para recuperar productos de gran tamaño. De manera similar, pueden existir robots móviles especialmente diseñados para recuperar productos de geometrías especiales, como sábanas o sacos de dormir, que usualmente se presentan sin envases, así como robots móviles diseñados para una amplia gama de productos, con dos o más copas de succión de capacidades diferentes como parte de un efector final.
[0035] El robot móvil (1), de acuerdo con las modalidades representadsa en las Figs, la, Id y If, está formado por un cuerpo que comprende tres componentes principales: una base móvil (2), que comprende al menos una unidad motriz configurada para impulsar y dirigir al robot móvil; al menos un actuador (3) o brazo robótico dispuesto sobre la base móvil (2), configurado para manipular y mover productos reales desde las estanterías de la tienda real; y al menos una región de almacenamiento temporal (4) dispuesta sobre la base móvil (2), configurada para recibir productos reales desde el al menos un actuador (3).
[0036] Finalmente, de acuerdo con una modalidad alternativa de la invención, el robot móvil de la invención es capaz de operar recibiendo y procesando órdenes de compra o selecciones de productos recibidas por cualquier otro medio, es decir, no necesariamente a partir de una selección de productos virtuales desde una tienda virtual por parte de un usuario. A modo de ejemplo, la selección de productos virtuales que recibe el sistema computacional puede reemplazarse por un listado de productos recibidos mediante un llamado telefónico o predeterminados en una cuenta de usuario.
Base móvil
[0037] Ea base móvil (2), de acuerdo con la modalidad de la Fig. la, está formada por una estructura de baja altura, que en su interior aloja a la unidad motriz del robot móvil. La altura de la base móvil (2) es baja para permitir que el al menos un actuador (3) sobre dicha base móvil (2) abarque prácticamente toda la altura de las estanterías en tiendas, que usualmente se despliegan próximas al nivel del suelo.
[0038] Como se puede apreciar en las Fig.la-e, la unidad motriz comprende todos los componentes requeridos para impulsar al robot móvil (1), es decir, al menos una unidad de energía y carga (21) conectada a al menos una batería (22), uno o más motores (23), preferentemente uno por cada elemento de impulsión o rueda (24), unidades de control y procesamiento asociadas a la impulsión del robot (no mostradas).
[0039] Adicionalmente, alojados en su interior, la base móvil (2) también puede comprender una o más unidades de procesamiento y comunicaciones, así como también sensores asociados al sistema de navegación del robot móvil, por ejemplo, sensores del tipo infrarrojo (25) y/o del tipo LIDAR (Laser/Light Detection and Ranging) (26), para detectar obstáculos. En la Fig. Ib y la Fig. 1c pueden apreciarse más detalles de la base móvil (2), que se muestra sin cubiertas laterales para visualizar el interior de ésta, p. ej. unas ruedas libres (27) dispuestas hacia cada esquina de la base móvil, para el facilitar la estabilidad del robot móvil, una cubierta frontal (28) con sensores de contacto, puerto de carga (29) y otras representaciones mediante cajas que representan algunas de las unidades del robot. [0040] Finalmente, la base móvil (2) se conecta a un soporte (31) que sostiene a al menos un actuador (3) dispuesto sobre dicha base móvil (2), donde dicho soporte (31) puede comprender un eje de rotación para la rotación del actuador (3) alrededor de un segundo eje vertical (V2), como se muestra en la Fig. le.
Actuador o brazo robótico
[0041] El actuador (3) o brazo robótico, de acuerdo con la modalidad de las Figs, la, Id y If, está formado por una base o soporte (31), un cuerpo principal (32) que se extiende verticalmente, comprendiendo componente de guía (321) presentado en la forma de un riel, por la cual desliza verticalmente un cuerpo secundario (33) unido de manera deslizante al cuerpo principal (32), a lo largo de un primer eje vertical (VI), como se muestra en la Fig. Id. Dicho cuerpo secundario (33), que se extiende horizontalmente, es extensible en dirección horizontal, comprendiendo una primera sección (331) que se desliza horizontalmente respecto de una segunda sección (332), a lo largo de un primer eje horizontal (Hl), como se muestra en la Fig. Id. En un extremo de dicha primera sección (331) se dispone un efector final (34) o unidad de manipulación de artículos o productos, por ejemplo, formada mediante un mecanismo efector en la forma de copas de succión, que aplican succión para recuperar los artículos desde estanterías y posicionarlos en la región de almacenamiento temporal (4).
[0042] En este contexto, el actuador (3) es capaz de ejecutar un conjunto de movimientos para recolectar productos de estanterías y posicionarlos en la región de almacenamiento temporal (4), dichos movimientos controlados por el sistema de reconocimiento que posee el sistema robótico de la invención. A modo de ejemplo, luego de identificar el producto a retirar y obtener información de ubicación y distancia del éste, el sistema de reconocimiento de productos acciona el actuador (3) moviendo el cuerpo secundario (33) sobre el primer eje vertical (VI), posicionando dicho cuerpo secundario (33) a una altura adecuada, de acuerdo con la información de ubicación del producto en la estantería. Luego, el sistema de reconocimiento acciona el actuador (3) moviendo el cuerpo secundario (33), extendiendo la primera sección (331) de éste hacia el producto a recuperar, a lo largo del primer eje horizontal (Hl), de acuerdo con la información de distancia. Luego, el sistema de reconocimiento acciona el actuador (3), activando el efector para recuperar el producto desde la estantería. Y finalmente, el sistema de reconocimiento inicia un conjunto de movimientos destinados a colocar dicho producto recuperado en la región de almacenamiento temporal (4) del robot (1).
[0043] De acuerdo con una modalidad, el sistema de reconocimiento de productos comprende rutinas para la recuperación o recolección de productos desde estanterías situadas en la cercanía de un robot móvil. Dichas rutinas operan en base a la información de visión capturada por el conjunto sensor de visión del robot móvil, utilizando un sensor de imagen, como un sensor del tipo RGB-D (Red Green Blue - Depth), e identificando cuál es el producto que se encuentra frente al robot. Con ello las rutinas comprenden posicionar el efector final del actuador de manera que quede en contacto con el producto, luego ejecutando diferentes acciones dependiendo de cuál fue el objeto identificado. En particular, una vez identificado el producto buscado y detectada su posición, en base a información desde el conjunto sensor de visión ubicado en el efector, que adquiere información de imagen y de distancia, denominada información de visión, se calcula la curvatura y centro de la superficie visible del producto requerido. Con esta información se determina el punto de aplicación de la succión, de manera de ubicar el efector en un punto estable que maximice la normal al punto de succión y con ello la adherencia del producto al efector. En la modalidad de invención con múltiples copas de succión, el sistema determina el posicionamiento del efector final y copas de succión, seleccionando además cual copas activar para optimizar la adherencia del producto al efector. Adicionalmente, el sensor de imagen, que puede estar formado por una primera cámara destinada a proporcionar información de distancia (Depth) y una segunda cámara destinada a proporcionar información de formas (RGB), se encuentra dispuesto en el efector final, permitiendo que la recolección de productos sea automática, sin supervisión humana. Dicha configuración de sensor de imagen y efector final permite: detección del producto, reconocimiento, detección de su superficie y detección de puntos adecuados para ubicar las copas de succión al tomar el producto, entre otros.
[0044] Específicamente, las rutinas comprenden diferentes conjuntos de movimientos y actuaciones del efector, p. ej. nivel de presión de succión, en función del tipo de producto a recuperar. En este contexto, para lograr recolectar productos desde estanterías se implementa un sistema de control para actuador o brazo robótico. Dicho sistema de control está configurado para el control y seguimiento de puntos en el espacio de acuerdo con la posición desde donde se recupera un producto y de acuerdo con la posición donde se desea dejar cada producto tomado por el robot. Así, el brazo robótico o actuador es capaz de moverse autónomamente de tal forma que su efector final acceda a las posiciones deseadas.
[0045] Además, de acuerdo con la modalidad preferente, se realiza la integración de copas de succión en el efector final (34) del brazo robótico, como se muestra con mayor detalle en la Fig. li. Para ello, se integra una bomba de vacío (35) con copas de succión en el efector final (34) del actuador (3), como se muestra en la Fig. If, comprendiendo instrucciones de succión y soplado desde un controlador. De esta manera se puede enviar una instrucción de succión cuando se desee tomar un objeto, y luego una instrucción de soplado cuando se desee soltar el objeto. Cabe también mencionar que el uso de copas de succión en lugar de una tenaza (gripper) permite tomar productos con alta variedad de formas, ya que la forma de las copas de succión se adapta a la superficie del objeto en cuestión. De acuerdo con una modalidad, la bomba de vacío (35) se encuentra montada en el cuerpo secundario (33) del actuador (3), ya sea en la primera sección (331) de dicho cuerpo secundario (33), solidaria a dicha primera sección (331), o en la segunda sección (332). Además, dicha bomba de vacío (35) es capaz de tomar objetos de hasta 3 kg de peso, pero dependiendo del tipo de productos a recuperar es posible gestionar la operación de robots móvil especialmente diseñados para productos de mayor peso, integrando bombas de succión de mayor potencia u otro tipo de actuadores especialmente diseñados para dicho propósito.
[0046] En la Fig. li se muestra un esquema detallado del efector final de acuerdo con la modalidad preferente de la invención, comprendiendo primera y segunda copas de succión (341, 342) de tamaño y capacidad equivalentes y una tercera copa de succión (343) de menor tamaño y capacidad. Mediante dicha configuración de al menos dos copas de succión de tamaño y capacidad diferentes, el robot móvil tiene la capacidad de recolectar diferentes tipos de productos, otorgando mayor versatilidad a su operación. Además, en la Fig. li puede apreciarse parte de los mecanismos de movimiento del efector final respecto a la rotación sobre el segundo eje horizontal y movimiento de inclinación. Dichos mecanismos se muestran con mayor detalle en la Fig. Ij, donde se representan el segundo eje horizontal (H2) y al eje alrededor del cual se ejecuta el movimiento de inclinación (H3).
[0047] En este contexto, es importante destacar que la disposición del sensor de imagen en relación con el efecto final, con copas de succión de distinto tamaño, permite tomar distintos productos mediante una evaluación y reconfiguración automática de las copas usadas. Esta reconfiguración tiene 2 fuentes: i) seleccionar solo algunas de las copas ubicadas en el efector, ii) Rotar las copas sobre su eje vertical de manera de tomar el objeto en forma horizontal, vertical, o en alguna otra dirección intermedia. Esto dependerá de la orientación del producto, como también de sus mejores puntos para su recolección, de acuerdo con su curvatura. Esto último es relevante, pues el sistema integra la evaluación de los puntos de agarre con la decisión de cómo ubicar las copas y la decisión de cuáles de dichas copas se deberán utilizar para la recolección.
Región de almacenamiento temporal
[0048] La región de almacenamiento temporal (4) es una porción del robot móvil especialmente destinada al acopio y transporte temporal de los productos recogidos desde estanterías, mientras el robot móvil (1) completa una trayectoria de recolección de productos. De acuerdo con una modalidad, corresponde a una estructura de repisas (41) montada sobre la base (2) del robot móvil. Esta estructura de almacenamiento de productos está especialmente diseñada para que el brazo robótico o actuador (3) pueda rotar sobre su segundo eje vertical (V2) y luego depositar los productos en repisas (41) ubicadas a distintas alturas en el cuerpo del robot (1). Estas repisas (41), de acuerdo con una modalidad, contienen canastas independientes (42) que permiten al robot acopiar productos de distinto tipo o recolectar en forma separada productos correspondientes a distintas órdenes de compra.
[0049] De acuerdo con la modalidad mostrada en la Fig. 1 a, dicha región de almacenamiento temporal (4) se configura por un conjunto de repisas tipo canasta (42), integradas al cuerpo del robot móvil, dispuestas en la proximidad del actuador (3) para recibir los productos recuperados y transportarlos durante el recorrido del robot (1). En este contexto, el sistema de planeamiento multiobjetivo comprende información del tipo de región de almacenamiento temporal (4) y de su capacidad, para asignar adecuadamente la trayectoria de recuperación de productos en función de la capacidad de transporte de cada robot móvil.
[0050] Alternativamente, dependiendo del tipo de robot móvil, otras configuraciones de región de almacenamiento temporal (4) son posibles, por ejemplo, repisas simples (41) como las mostradas en la Fig. Id y en la Fig. le, repisas tipo cestas (42) como en la Fig la-c y en la Fig. If-h o espacios especialmente diseñados para retener productos de distintos tipos durante el desplazamiento del robot móvil.
Interface de usuario [0051] De acuerdo con la invención, la interface de usuario comprende una representación gráfica virtual de una tienda real, incluyendo una representación virtual de los productos en la misma. Dicha interface de usuario puede preconfigurarse de acuerdo con las necesidades y preferencias del usuario, mostrando distintos tipos de productos virtuales disponibles y disponiendo los mismos en un único pasillo o en múltiples pasillos, por ejemplo. Tal como en una tienda real, los pasillos del supermercado virtual están organizados de acuerdo con categorías de productos, por ejemplo, lácteos, bebidas, cereales, etc. El usuario puede recorrer cada pasillo en forma secuencial de acuerdo con una configuración predeterminada en la secuencia de categorías de productos, p.ej. mediante una selección preestablecida por el usuario, preferencias del usuario o su historial de compras. Alternativamente, a través de un menú de selección, el usuario puede saltar directamente y de forma dinámica al área o sección correspondiente a una categoría particular de productos.
[0052] En la Fig. 2a se muestra una representación gráfica de una tienda virtual que posee un único pasillo con una única estantería, simplificando la disposición real de la tienda. En efecto, la representación gráfica virtual no busca asemejarse a la disposición de una tienda, sino que busca mostrar los productos virtuales de una manera familiar, amigable y simplificada, reduciendo la exigencia computational del dispositivo de usuario. Otro ejemplo de representación gráfica se muestra en la Fig. 2b, que permite un mayor detalle de los productos virtuales en la estantería cercana a la posición de un usuario virtual. En la Fig. 2c se muestra una tercera representación gráfica, mostrando múltiples estanterías y pasillos, de manera más similar a una tienda real. Dicha disipación requiere mayor capacidad de procesamiento gráfico por parte del dispositivo de usuario.
[0053] Dependiendo de la preferencia del usuario, es posible presentar las tres representaciones gráficas de manera simultánea o secuencial, por ejemplo, una navegación más general mediante la representación de la Fig. 2c, para pasar a una representación más específica como en la Fig. 2b y en la Fig. 2a. Como es posible desprender de las figuras, la representación gráfica de la tienda real no necesariamente es una simulación exacta de una tienda real, sino que puede ser cualquier representación que despliegue los productos virtuales para favorecer la experiencia de usuario, lo que usualmente corresponde a una representación de una tienda.
[0054] Finalmente, entre las particularidades de la interface de usuario, destaca que la misma busca acercar al usuario a una experiencia de compra presencial en tiendas, mejora sustancialmente la exploración de productos en comparación con plataformas de compra en línea, facilita conocer preferencias del usuario y manejar promociones en función de éstas, y permite adaptar la disposición de la tienda de acuerdo con las preferencias del usuario, entre otras.
Sistema de planeamiento multiobjetivo
[0055] El sistema de planeamiento multiobjetivo de la invención está configurado para, de acuerdo con la información de planimetría de la tienda real (layout de una tienda), calcular trayectorias óptimas para la recolección de los productos incluidos en una selección de productos u orden de compra. El sistema de planeamiento multiobjetivo permite planear una trayectoria global que permita completar autónomamente una orden de compra. Dicha trayectoria global, dado el layout de la tienda, comprende una serie de puntos que un robot móvil debe seguir para completar la orden de compra recibida, por ejemplo, generada en la interfaz del supermercado virtual. A modo de ejemplo, la Fig. 3a muestra una vista en planta de una tienda sobre la cual se superpone la trayectoria óptima generada por el sistema de planeamiento multiobjetivo, para recoger 30 productos seleccionados en una orden de compra. Para facilitar la visualization, la trayectoria se indica con rectas que unen los productos. Representados por cuadros, sin embargo, se aclara que el planeador o sistema de planeamiento entrega trayectorias válidas sin cruzar sobre estanterías, es decir, considerando que el robot circula por los pasillos de la tienda.
[0056] Adicionalmente, el sistema de planeamiento multiobjetivo tiene la capacidad de coordinar dos o más robots móviles, con el objetivo de recuperar productos desde una o más selecciones de productos u órdenes de compra a la vez. La Fig. 3b muestra una representación similar a la Fig. 3a, pero considerando tres robots móviles para recuperar productos de una misma selección de 30 productos. Asimismo, el sistema de planeamiento considera que los robots disponibles en la tienda pueden tener distintas capacidades en su efector final para recoger productos desde estantería, información que es usada al momento de asignar los productos a cada robot.
Sistema de reconocimiento de productos
[0057] El sistema de reconocimiento de productos comprende algoritmos de identificación para identificar los productos en la tienda real, es decir, para detectar y reconocer los productos en estanterías de un supermercado, por ejemplo. Para ello, los algoritmos de identificación tienen la capacidad de identificar directamente cada producto mediante un sistema de reconocimiento visual en tiempo real.
[0058] Para ello, los algoritmos de identificación del sistema de reconocimiento de productos están entrenados para detectar productos de distintos tipos, de formas y tamaños diferentes, e identificarlos en base a la lectura de la información dispuesta en los envases, envolturas o superficie exterior de los productos. Lo anterior no es trivial, ya que los productos dispuestos en tiendas tienen formas y tamaños diversos, tanto respecto a los envoltorios como respecto a productos que se presentan sin envolver, situación que no ocurre en bodegas o centros de distribución. Por ejemplo, existen productos que se presentan en formatos del tipo blister, bolsa, botella, caja, empaques o packs, frascos, potes, tarros, etc. Además, un mismo producto puede presentarse en distintos formatos, por ejemplo, en un formato individual o en un empaque.
[0059] En este sentido, la invención comprende una etapa de entrenamiento que requiere la identificación de diversas categorías de productos en función de su apariencia externa, utilizando algoritmos de aprendizaje profundo para la detección de dichas categorías a partir de la identificación de las formas desde la información de visión. En particular, la etapa de entrenamiento permite obtener un modelo capaz de detectar instancias de estas categorías de productos desde imágenes capturadas por el conjunto sensor de visión dispuesto en frente de la estantería. A modo de ejemplo, la Fig. 4a muestra información de visión con la identificación de una “Caja” como categoría de producto mientras que la Fig. 4b muestra información de visión donde se identifica n las categorías “Bolsa” y “Frasco” en la misma imagen. Entonces, a diferencia de un detector genérico de productos, para la aplicación objetivo, el robot posee información del producto buscado, por ejemplo, una caja de cereal. Esta información es utilizada por el robot, que luego de posicionarse en el área de estantería donde potencialmente se ubica el producto requerido, realiza la detección sólo de instancias correspondientes a la categoría de producto buscado. Esto permite aumentar no sólo la efectividad del detector, sino que también reduce la carga de procesamiento de información del robot.
[0060] Por último, una vez ubicadas posibles instancias del producto requerido, el robot ejecuta algoritmos de detección de textos y rótulos en las áreas correspondientes a estas detecciones. Estos algoritmos han sido previamente entrenados con ejemplos de textos y rótulos de productos, en base a técnicas de aprendizaje profundo, alcanzando altos niveles de efectividad. Los textos y rótulos leídos son luego comparados con un base de datos con datos de los textos presentes en el producto buscado, realizándose el reconocimiento en caso de existir un match significativo. Cabe notar que, para aumentar la efectividad y eficiencia del algoritmo de lectura de textos y rótulos, su aplicación hace uso del conocimiento que el robot tiene del producto buscado, específicamente, el algoritmo no está diseñado para leer textos en forma genérica, sino para encontrar un match entre los textos principales del producto buscado y los textos candidatos detectados en los productos ubicados en la estantería. Una vez reconocido el producto, el algoritmo utiliza la información de imagen y de distancia para determinar la ubicación y distancia precisa del producto respecto al robot, información que es luego utilizada por el mecanismo para recoger el producto desde estantería. En la Fig. 4a y en la Fig. 4b también se muestran ejemplos de la detección de textos respecto a la información de visión presentada.
Implementaton de la Invención
[0061] Finalmente, es relevante destacar que la presente invención posee un gran potencial de presentar distintas implementaciones, no solo en tiendas de productos como supermercados, sino que en cualquier locación donde se requiera retirar objetos desde estanterías o cualquier estructura que contiene dichos objetos.
[0062] Por lo tanto, la descripción de las modalidades presentadas anteriormente no debe considerarse una restricción al alcance de la presente invención, comprendiendo cualquier variación aplicable por una persona normalmente versada en el área técnica.

Claims

REIVINDICACIONES
1. Un sistema robótico autónomo para la recolección de productos desde una tienda real, que comprende: al menos una tienda real, que comprende estanterías con productos reales; al menos un robot móvil, que está formado por un cuerpo que comprende: o al menos una unidad de procesamiento; o al menos una unidad de comunicaciones; o al menos un conjunto sensor de visión, configurado para obtener información de imagen e información de distancia, denominada información de visión; o una base móvil, que comprende al menos una unidad motriz configurada para impulsar y dirigir al robot móvil; o al menos un actuador dispuesto sobre la base móvil, configurado para manipular y mover productos reales desde las estanterías de la tienda real; y o al menos una región de almacenamiento temporal dispuesta sobre la base móvil, configurada para recibir productos reales desde el al menos un actuador; un sistema de navegación en comunicación con la al menos una unidad motriz, a través de la al menos una unidad de comunicaciones y de la al menos una unidad de procesamiento, en donde el sistema de navegación accede a información de planimetría de la tienda real; un sistema de reconocimiento de productos en comunicación con el al menos un conjunto sensor de visión, a través de la al menos una unidad de comunicaciones y de la al menos una unidad de procesamiento, en donde el sistema de reconocimiento de productos accede a la información de visión; y un sistema de planeamiento multiobjetivo en comunicación con el sistema de navegación; caracterizado porque: el sistema de planeamiento multiobjetivo y el sistema de reconocimiento de productos reciben una selección de productos a recolectar, donde, en base a la información de planimetría de la tienda real, el sistema de planeamiento multiobjetivo está configurado para calcular una o más trayectorias óptimas para la recolección de productos reales coincidentes con la al menos una selección de productos a recolectar, y donde dichas una o más trayectorias óptimas se comunican al sistema de navegación; el sistema de navegación está configurado para recibir dichas una o más trayectorias óptimas y para accionar la al menos una unidad motriz de al menos un robot móvil para recorrer la tienda real siguiendo al menos una trayectoria óptima recibida; el sistema de reconocimiento de productos comprende algoritmos de identificación configurados para identificar cada producto real en las estanterías de la tienda real, donde el al menos un conjunto sensor de visión en comunicación con dicho sistema de reconocimiento de productos está dispuesto para obtener información de visión de las estanterías de la tienda real, y donde los algoritmos de identificación están configurados para reconocer formas de objetos correspondientes a una forma exterior de los productos reales en dicha información de visión, y para leer logos o textos de los productos reales en dicha información de visión, identificando los productos reales y obteniendo información de ubicación y distancia de los productos reales identificados; en donde, cuando un robot móvil, que recorre la tienda real siguiendo al menos una trayectoria óptima, identifica un producto real coincidente con uno de los productos a recolectar de la al menos una selección de productos a recolectar, el sistema de reconocimiento de productos está configurado para accionar la al menos una unidad motriz del al menos un robot móvil para posicionarse en la cercanía de la estantería donde se encuentra dicho producto real coincidente y para accionar el al menos un actuador del al menos un robot móvil en base a la información de ubicación y distancia del producto real coincidente, para recolectar el producto real coincidente desde la estantería y situarlo en la al menos una región de almacenamiento temporal, continuando con la al menos una trayectoria óptima; en donde el accionamiento del al menos un actuador para recolectar un producto real coincidente, en base a la información de ubicación y distancia de dicho producto real coincidente, comprende ejecutar un conjunto de movimientos del al menos un actuador de acuerdo con una posición del producto real coincidente y una distancia entre el al menos un actuador y el producto real coincidente; en donde el al menos un actuador posee al menos dos grados de libertad, comprendiendo los siguientes movimientos: en altura, a lo largo de un primer eje vertical, abarcando una altura de las estanterías en la tienda real; y en profundidad, a lo largo de un primer eje horizontal, abarcando la distancia entre el robot móvil y los productos a recolectar; en donde el al menos un actuador además comprende un tercer grado de libertad, comprendiendo movimiento en rotación, alrededor de un segundo eje vertical, abarcando al menos dos posiciones, una posición de recolección de productos desde estanterías de la tienda real y una posición de almacenamiento temporal de productos en la al menos una región de almacenamiento temporal; y en donde el al menos un actuador comprende un efector final que comprende al menos dos copas de succión, en donde una copa de succión es de menor tamaño que la otra, en donde dicho efector final, a su vez, posee al menos dos grados de libertad, comprendiendo los siguientes movimientos: rotación alrededor de un segundo eje horizontal, rotando el efector final para posicionarlo correctamente en relación con el artículo o producto coincidente a recolectar; e inclinación, inclinando el efector final una vez que se ha recolectado el producto coincidente, compensando la fuerza peso de dicho producto.
2. El sistema de acuerdo con la reivindicación 1, caracterizado porque además comprende un sistema computacional, en comunicación con el sistema de planeamiento multiobjetivo y con el sistema de reconocimiento de productos, y al menos un dispositivo de usuario, en comunicación con el sistema computacional; en donde el sistema computacional está configurado para procesar una representación gráfica de la tienda real, denominada tienda virtual, en donde dicha tienda virtual comprende estanterías con una representación gráfica de productos reales, denominada productos virtuales; en donde el al menos un dispositivo de usuario está configurado para mostrar la tienda virtual a un usuario a través de una interface de usuario, en donde dicha interface de usuario está configurada para recibir la menos una selección de productos a recolectar como al menos una selección de productos virtuales por parte del usuario y para comunicar dicha al menos una selección de productos virtuales al sistema computacional; y en donde el sistema computacional está configurado para recibir la al menos una selección de productos a recolectar virtuales y para comunicarla al sistema de planeamiento multiobjetivo y el sistema de reconocimiento de productos.
3. El sistema de acuerdo con la reivindicación 2, caracterizado porque el sistema computacional está configurado para generar dicha tienda virtual con dichos productos virtuales en base a un conjunto de locaciones virtuales y /o productos virtuales predefinidos, en donde una disposición de la tienda virtual y de los productos virtuales en la interface de usuario se determina de acuerdo a preferencias de usuario previamente comunicadas al sistema computacional.
4. El sistema de acuerdo con una de las reivindicaciones 2 y 3, caracterizado porque la tienda virtual comprende al menos un pasillo virtual por el cual, a través de la interface de usuario, el usuario puede recorrer la tienda virtual al mismo tiempo que visualiza los productos virtuales dispuestos en las estanterías de la tienda virtual.
5. El sistema de acuerdo con la reivindicación 4, caracterizado porque la tienda virtual es una representación bidimensional de la tienda real, formada por un único pasillo con estanterías de productos virtuales en uno o ambos de los costados, los cuales se organizan según categorías de productos que el usuario va recorriendo a medida que avanza por el único pasillo, en donde la interface de usuario comprende al menos dos visualizaciones de la tienda virtual, una donde se visualiza parte del pasillo y los productos virtuales dispuestos en las estanterías y otra donde se visualiza con mayor detalle el entorno de un subconjunto de productos virtuales.
6. El sistema de acuerdo con una de las reivindicaciones 4 y 5, caracterizado porque el recorrido del usuario en la tienda virtual comprende un menú que permite al usuario saltar directamente a secciones de productos de su interés sin necesidad de recorrer todo el supermercado virtual en forma secuencial, estas secciones pueden estar organizadas de acuerdo a una configuración común predeterminada mediante una selección preestablecida por el usuario, priorizando mostrar productos según preferencias del usuario o según un historial de compras del usuario.
7. El sistema de acuerdo con una de las reivindicaciones anteriores, caracterizado porque la información de planimetría de la tienda real comprende la ubicación de cada producto real en la tienda real, en donde el sistema de planeamiento multiobjetivo calcula la una o más trayectorias óptimas en base a la ubicación de los productos reales coincidentes de acuerdo con dicha información de planimetría, de modo que al menos un robot móvil se dirige directamente hacia dicha ubicación de los productos reales de acuerdo con una o más trayectorias óptimas.
8. El sistema de acuerdo con la reivindicación 7, caracterizado porque la información de planimetría de la tienda real es generada y /o actualizada en base a la información de visión obtenida por al menos un robot móvil que recorre la tienda real.
9. El sistema de acuerdo con una de las reivindicaciones anteriores, caracterizado porque el sistema de planeamiento multiobjetivo calcula la una o más trayectorias óptimas para al menos un robot móvil en base a uno más de: número de selecciones de productos a recolectar recibidas por los sistemas de planeamiento multiobjetivo y de reconocimiento de productos; tipo de productos reales coincidentes; y ubicación de productos reales coincidentes.
10. El sistema de acuerdo con la reivindicación 9, caracterizado porque el sistema de planeamiento multiobjetivo está configurado para coordinar dos o más robots móviles para la recolección de productos reales coincidentes asociados a una o más selecciones de productos a recolectar, en donde el sistema de planeamiento está configurado para asignar cada producto real coincidente a alguno de los robots móvil y para adecuar la trayectoria de cada robot móvil y el orden de recolección de los productos reales coincidentes, calculando al menos una trayectoria óptima para cada robot móvil.
11. El sistema de acuerdo con la reivindicación 10, caracterizado porque el cálculo de trayectorias óptimas es configurado de acuerdo con objetivos de operación, tales como mínimo uso de robots, mínima distancia recorrida o menos tiempo de demora.
12. El sistema de acuerdo con una de las reivindicaciones anteriores, caracterizado porque el efector final comprende tres copas de succión, dos copas de succión de igual tamaño y una tercera copa de succión de menor tamaño.
13. El sistema de acuerdo con una de las reivindicaciones anteriores, caracterizado porque al menos parte de la región de almacenamiento temporal se configura como una repisa integrada al cuerpo del al menos un robot móvil.
14. Un actuador para la recolección de productos desde una tienda real mediante un robot móvil, dicho actuador estando dispuesto sobre una base móvil que comprende al menos una unidad motriz
22 configurada para impulsar y dirigir al robot móvil, dicho actuador caracterizado porque está configurado para manipular y mover productos reales desde estanterías de la tienda real y hacia al menos una región de almacenamiento temporal dispuesta sobre la base móvil, configurada para recibir productos reales desde el al menos un actuador; un sistema de navegación en comunicación con la al menos una unidad motriz, a través de la al menos una unidad de comunicaciones y de la al menos una unidad de procesamiento, en donde el sistema de navegación accede a información de planimetría de la tienda real; un sistema de reconocimiento de productos en comunicación con el al menos un conjunto sensor de visión, a través de la al menos una unidad de comunicaciones y de la al menos una unidad de procesamiento, en donde el sistema de reconocimiento de productos accede a la información de visión; y un sistema de planeamiento multiobjetivo en comunicación con el sistema de navegación; en donde, cuando un robot móvil, que recorre la tienda real siguiendo al menos una trayectoria óptima, identifica un producto real coincidente con un productos a recolectar de al menos una selección de productos a recolectar, un sistema de reconocimiento de productos del robot móvil está configurado para accionar la al menos una unidad motriz del al menos un robot móvil para posicionarse en la cercanía de la estantería donde se encuentra dicho producto real coincidente y para accionar el actuador del al menos un robot móvil en base a la información de ubicación y distancia del producto real coincidente, para recolectar el producto real coincidente desde la estantería y situarlo en la al menos una región de almacenamiento temporal, continuando con la al menos una trayectoria óptima; en donde el accionamiento del actuador para recolectar un producto real coincidente, en base a la información de ubicación y distancia de dicho producto real coincidente, comprende ejecutar un conjunto de movimientos del actuador de acuerdo con una posición del producto real coincidente y una distancia entre el actuador y el producto real coincidente; en donde el actuador posee al menos dos grados de libertad, comprendiendo los siguientes movimientos: en altura, a lo largo de un primer eje vertical, abarcando una altura de las estanterías en la tienda real; y en profundidad, a lo largo de un primer eje horizontal, abarcando la distancia entre el robot móvil y los productos a recolectar; en donde el actuador además comprende un tercer grado de libertad, comprendiendo movimiento en rotación, alrededor de un segundo eje vertical, abarcando al menos dos posiciones, una posición de recolección de productos desde estanterías de la tienda real y una posición de almacenamiento temporal de productos en la al menos una región de almacenamiento temporal; y en donde el actuador comprende un efector final que comprende al menos dos copas de succión, en donde una copa de succión es de menor tamaño que la otra, en donde dicho efector final, a su vez, posee al menos dos grados de libertad, comprendiendo los siguientes movimientos:
23 rotación alrededor de un segundo eje horizontal, rotando el efector final para posicionarlo correctamente en relación con el artículo o producto coincidente a recolectar; e inclinación, inclinando el efector final una vez que se ha recolectado el producto coincidente, compensando la fuerza peso de dicho producto.
15. Un método de operación de un sistema robótico autónomo para la recolección de productos en forma remota a partir de una tienda virtual, en donde el sistema robótico autónomo comprende: al menos una tienda real, que comprende estanterías con productos reales; al menos un robot móvil, que está formado por un cuerpo que comprende: o al menos una unidad de procesamiento; o al menos una unidad de comunicaciones; o al menos un conjunto sensor de visión, configurado para obtener información de imagen e información de distancia, denominada información de visión; o una base móvil, que comprende al menos una unidad motriz configurada para impulsar y dirigir al robot móvil; o al menos un actuador dispuesto sobre la base móvil, configurado para manipular y mover productos reales desde las estanterías de la tienda real; y o al menos una región de almacenamiento temporal dispuesta sobre la base móvil, configurada para recibir productos reales desde el al menos un actuador; un sistema de navegación en comunicación con la al menos una unidad motriz, a través de la al menos una unidad de comunicaciones y de la al menos una unidad de procesamiento, en donde el sistema de navegación accede a información de planimetría de la tienda real; un sistema de reconocimiento de productos en comunicación con el al menos un conjunto sensor de visión, a través de la al menos una unidad de comunicaciones y de la al menos una unidad de procesamiento, en donde el sistema de reconocimiento de productos accede a la información de visión; un sistema de planeamiento multiobjetivo en comunicación con el sistema de navegación; un sistema computacional en comunicación con el sistema de planeamiento multiobjetivo y con el sistema de reconocimiento de productos; y al menos un dispositivo de usuario en comunicación con el sistema computacional; el método caracterizado porque comprende: a) mostrar, mediante el al menos un dispositivo de usuario, una tienda virtual a un usuario a través de una interface de usuario, en donde dicha tienda virtual es una representación gráfica de la tienda real y comprende estanterías con una representación gráfica de los productos reales, denominada productos virtuales; b) recibir, mediante dicha interface de usuario, al menos una selección de productos virtuales por parte del usuario, comunicando dicha al menos una selección de productos virtuales al sistema computacional, en donde el sistema computacional comunica dicha al menos una selección de
24 productos virtuales al sistema de planeamiento multiobjetivo y al sistema de reconocimiento de productos; c) calcular, mediante el sistema de planeamiento multiobjetivo y en base a la información de planimetría de la tienda real, una o más trayectorias óptimas para la recolección de productos reales coincidentes con la al menos una selección de productos virtuales, comunicando dichas una o más trayectorias óptimas al sistema de navegación; d) accionar, mediante el sistema de navegación, la al menos una unidad motriz de al menos un robot móvil para recorrer la tienda real siguiendo al menos una trayectoria óptima recibida; e) identificar, mediante el sistema de reconocimiento que comprende algoritmos de identificación, productos reales coincidentes con los productos virtuales de la al menos una selección de productos virtuales recibida, comprendiendo: e.l) obtener, mediante el al menos un conjunto sensor de visión, información de visión de las estanterías de la tienda real, e.2) reconocer formas de objetos correspondientes a una forma exterior basada en la apariencia visual de los productos reales en dicha información de visión, y e.3) leer logos o textos de los productos reales en dicha información de visión, identificando los productos reales coincidentes y obteniendo información de ubicación y distancia de los productos reales coincidentes identificados; f) recolectar los productos reales coincidentes identificados, en donde el sistema de reconocimiento de productos acciona la al menos una unidad motriz del al menos un robot móvil para posicionarse en la cercanía de la estantería donde se encuentra un producto real coincidente identificado y acciona el al menos un actuador del al menos un robot móvil en base a información de ubicación y distancia del producto real coincidente identificado con objeto de realizar su recolección desde la estantería de la tienda real; g) situar los productos reales recolectados en la al menos una región de almacenamiento temporal ubicada en el cuerpo del al menos un robot móvil; y h) continuar con la al menos una trayectoria óptima.
16. El método de acuerdo con la reivindicación 15 , caracterizado porque, antes de mostrar la tienda virtual y los productos virtuales, comprende generar, mediante el sistema computational, dicha tienda virtual con dichos productos virtuales en base a un conjunto de locaciones virtuales y /o productos virtuales predefinidos, y determinar una disposición de la tienda virtual y de los productos virtuales en la interface de usuario de acuerdo a preferencias de usuario previamente comunicadas al sistema computational.
17. El método de acuerdo con una de las reivindicaciones 15 y 16, caracterizado porque comprende recorrer, por el usuario y mediante la interface de usuario, al menos un pasillo virtual de la tienda virtual por el cual el usuario puede recorrer la tienda virtual al mismo tiempo que visualiza los productos virtuales dispuestos en las estanterías de la tienda virtual.
25
18. El método de acuerdo con la reivindicación 17, caracterizado porque la tienda virtual es una representación bidimensional de la tienda real, formada por un único pasillo con estanterías de productos virtuales en uno o ambos de los costados, los cuales se organizan según categorías de productos que el usuario va recorriendo a medida que avanza por el único pasillo, en donde la interface de usuario comprende al menos dos visualizaciones de la tienda virtual, una donde se visualiza parte del pasillo y los productos virtuales dispuestos en las estanterías y otra donde se visualiza con mayor detalle el entorno de un subconjunto de productos virtuales.
19. El método de acuerdo con una de las reivindicaciones 16-17, caracterizado porque el recorrido del usuario en la tienda virtual es secuencial a través de un pasillo organizado en secciones según categorías de productos, cuya secuencia inicial predeterminada puede alterarse dinámicamente según la selección del usuario mediante un menú que permite al usuario saltar directamente a secciones de productos de su interés sin necesidad de recorrer todo el supermercado virtual en forma secuencial, estas secciones pueden estar organizadas de acuerdo a una configuración común predeterminada mediante una selección preestablecida por el usuario, priorizando mostrar productos según preferencias del usuario o según un historial de compras del usuario.
20. El método de acuerdo con una de las reivindicaciones 14-19, caracterizado porque la información de planimetría de la tienda real comprende la ubicación de cada producto real en la tienda real, en donde la etapa de calcular la una o más trayectorias óptimas se ejecuta en base a la ubicación de los productos reales coincidentes de acuerdo con dicha información de planimetría, de modo que al menos un robot móvil se dirige directamente hacia dicha ubicación de los productos reales de acuerdo con la una o más trayectorias óptimas.
21. El método de acuerdo con la reivindicación 20, caracterizado porque además comprende generar y /o actualizar la información de planimetría de la tienda real, en base a la información de visión obtenida por al menos un robot móvil que recorre la tienda real.
22. El método de acuerdo con una de las reivindicaciones 14-21, caracterizado porque la etapa de calcular la una o más trayectorias óptimas para al menos un robot móvil se ejecuta en base a uno o más de: número de selecciones de productos virtuales comunicadas al sistema computational; tipo de productos reales coincidentes; y ubicación de productos reales coincidentes.
23. El método de acuerdo con la reivindicación 22, caracterizado porque comprende coordinar, mediante el sistema de planeamiento multiobjetivo, dos o más robots móviles para la recolección de productos reales coincidentes asociados a una o más selecciones de productos virtuales, en donde el sistema
26 de planeamiento multiobjetivo asigna cada producto real coincidente a alguno de los robots móvil y adecúa la trayectoria de cada robot móvil y el orden de recolección de los productos reales coincidentes, calculando al menos una trayectoria óptima para cada robot móvil.
24. El método de acuerdo con la reivindicación 23, caracterizado porque comprende calcular las trayectorias óptimas de acuerdo con objetivos de operación, tales como mínimo uso de robots, mínima distancia recorrida o menos tiempo de demora.
25. El método de acuerdo con una de las reivindicaciones 15-24, caracterizado la etapa de recolectar los productos reales coincidentes identificados, mediante el accionamiento del al menos un actuador para recolectar un producto real coincidente, en base a la información de ubicación y distancia de dicho producto real coincidente, comprende ejecutar un conjunto de movimientos del al menos un actuador de acuerdo con una posición del producto real coincidente y una distancia entre el al menos un actuador y el producto real coincidente.
26. El método de acuerdo con la reivindicación 25, caracterizado porque el al menos un actuador posee al menos dos grados de libertad, comprendiendo los siguientes movimientos: en altura, a lo largo de un eje vertical, abarcando una altura de las estanterías en la tienda real; y en profundidad, a lo largo de un eje horizontal, abarcando la distancia entre el robot móvil y los productos a recolectar.
27. El método de acuerdo con la reivindicación 26, caracterizado porque el al menos un actuador además comprende un tercer grado de libertad, comprendiendo movimiento en rotación, alrededor de un eje vertical, abarcando al menos dos posiciones, una posición de recolección de productos desde estanterías de la tienda real y una posición de almacenamiento temporal de productos en la al menos una región de almacenamiento temporal.
28. El método de acuerdo con una de las reivindicaciones 15-27, caracterizado porque al menos parte de la región de almacenamiento temporal se configura como una repisa integrada al cuerpo del al menos un robot móvil.
29. Un robot móvil para la recolección de productos en forma remota, formado por un cuerpo que comprende: al menos una unidad de procesamiento; al menos una unidad de comunicaciones; al menos un conjunto sensor de visión, configurado para obtener información de imagen e información de distancia, denominada información de visión;
27 una base móvil, que comprende al menos una unidad motriz configurada para impulsar y dirigir al robot móvil; al menos un actuador dispuesto sobre la base móvil, configurado para manipular y mover productos reales desde las estanterías de la tienda real; y al menos una región de almacenamiento temporal dispuesta sobre la base móvil, configurada para recibir productos reales desde el al menos un actuador; en donde el robot además comprende: un sistema de navegación en comunicación con la al menos una unidad motriz, a través de la al menos una unidad de comunicaciones y de la al menos una unidad de procesamiento, en donde el sistema de navegación accede a información de planimetría de una tienda real; un sistema de reconocimiento de productos en comunicación con el al menos un conjunto sensor de visión, a través de la al menos una unidad de comunicaciones y de la al menos una unidad de procesamiento, en donde el sistema de reconocimiento de productos accede a la información de visión; un sistema de planeamiento multiobjetivo en comunicación con el sistema de navegación; y un sistema computacional en comunicación con el sistema de planeamiento multiobjetivo y con el sistema de reconocimiento de productos; caracterizado porque: el sistema computacional está configurado para recibir al menos una selección de productos y para comunicarla al sistema de planeamiento multiobjetivo y al sistema de reconocimiento de productos, donde, en base a la información de planimetría de la tienda real, el sistema de planeamiento multiobjetivo está configurado para calcular una trayectoria óptima para la recolección de productos reales coincidentes con la al menos una selección de productos, y donde dicha trayectoria óptima se comunica al sistema de navegación; el sistema de navegación está configurado para recibir dicha trayectoria óptima y para accionar la al menos una unidad motriz del robot móvil para recorrer la tienda real siguiendo la trayectoria óptima recibida; el sistema de reconocimiento de productos comprende algoritmos de identificación configurados para identificar cada producto real en las estanterías de la tienda real, donde el al menos un conjunto sensor de visión en comunicación con dicho sistema de reconocimiento de productos está dispuesto para obtener información de visión de las estanterías de la tienda real, y donde los algoritmos de identificación están configurados para reconocer formas de objetos correspondientes a una forma exterior de los productos reales en dicha información de visión, y para leer logos o textos de los productos reales en dicha información de visión, identificando los productos reales y obteniendo información de ubicación y distancia de los productos reales identificados; en donde, cuando el robot móvil, que recorre la tienda real siguiendo la trayectoria óptima, identifica un producto real coincidente con uno de los productos de la al menos una selección de productos recibida, el sistema de reconocimiento de productos está configurado para accionar la al menos una unidad motriz
28 del robot móvil para posicionarse en la cercanía de la estantería donde se encuentra dicho producto real coincidente y para accionar el al menos un actuador del robot móvil en base a la información de ubicación y distancia del producto real coincidente, para recolectar el producto real coincidente desde la estantería y situarlo en la al menos una región de almacenamiento temporal, continuando con la trayectoria óptima.
30. El robot móvil de acuerdo con la reivindicación 29, caracterizado porque la información de planimetría de la tienda real comprende la ubicación de cada producto real en la tienda real, en donde el sistema de planeamiento multiobjetivo, integrado en el robot móvil, calcula la una o más trayectorias óptimas en base a la ubicación de los productos reales coincidentes de acuerdo con dicha información de planimetría, de modo que el robot móvil se dirige directamente hacia dicha ubicación de los productos reales de acuerdo con la trayectoria óptima.
31. El robot móvil de acuerdo con la reivindicación 30, caracterizado porque la información de planimetría de la tienda real es generada y /o actualizada en base a la información de visión obtenida por el robot móvil que recorre la tienda real.
32. El robot móvil de acuerdo con una de las reivindicaciones 29-31, caracterizado porque el sistema de planeamiento multiobjetivo, integrado al robot móvil, calcula la trayectoria óptima para en base a unó más de: número de selecciones de productos virtuales comunicadas al sistema computational; tipo de productos reales coincidentes; y ubicación de productos reales coincidentes.
33. El robot móvil de acuerdo con una de las reivindicaciones 29-32, caracterizado porque el accionamiento del al menos un actuador para recolectar un producto real coincidente, en base a la información de ubicación y distancia de dicho producto real coincidente, comprende ejecutar un conjunto de movimientos del al menos un actuador de acuerdo con una posición del producto real coincidente y una distancia entre el al menos un actuador y el producto real coincidente.
34. El robot móvil de acuerdo con la reivindicación 33, caracterizado porque el al menos un actuador posee al menos dos grados de libertad, comprendiendo los siguientes movimientos: en altura, a lo largo de un eje vertical, abarcando una altura de las estanterías en la tienda real; y en profundidad, a lo largo de un eje horizontal, abarcando la distancia entre el robot móvil y los productos a recolectar.
35. El robot móvil de acuerdo con la reivindicación 34, caracterizado porque el al menos un actuador además comprende un tercer grado de libertad, comprendiendo movimiento en rotación, alrededor
29 de un eje vertical, abarcando al menos dos posiciones, una posición de recolección de productos desde estanterías de la tienda real y una posición de almacenamiento temporal de productos en la al menos una región de almacenamiento temporal.
36. El robot móvil de acuerdo con una de las reivindicaciones 29-35, caracterizado porque al menos parte de la región de almacenamiento temporal se configura como una repisa integrada al cuerpo del robot móvil.
37. El robot móvil de acuerdo con una de las reivindicaciones 29-36, caracterizado porque la selección de productos recibida por el sistema computational, integrado al robot móvil, corresponde a uno o una combinación de, una selección de productos en tiempo real, por parte de un usuario, o una selección de productos predeterminada.
30
PCT/CL2021/050113 2021-11-23 2021-11-23 Sistema robotico autonomo para la recoleccion de productos WO2023092244A1 (es)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CL2021/050113 WO2023092244A1 (es) 2021-11-23 2021-11-23 Sistema robotico autonomo para la recoleccion de productos

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CL2021/050113 WO2023092244A1 (es) 2021-11-23 2021-11-23 Sistema robotico autonomo para la recoleccion de productos

Publications (1)

Publication Number Publication Date
WO2023092244A1 true WO2023092244A1 (es) 2023-06-01

Family

ID=86538530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CL2021/050113 WO2023092244A1 (es) 2021-11-23 2021-11-23 Sistema robotico autonomo para la recoleccion de productos

Country Status (1)

Country Link
WO (1) WO2023092244A1 (es)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200055671A1 (en) * 2018-08-14 2020-02-20 Nextshift Robotics, Inc. Method and system for automated transport of items
US20200242544A1 (en) * 2013-07-25 2020-07-30 IAM Robotics, LLC System and method for piece picking or put-away with a mobile manipulation robot
US20210032031A1 (en) * 2019-07-29 2021-02-04 Nimble Robotics, Inc. Storage Systems and Methods for Robotic Picking
US10954067B1 (en) * 2018-07-13 2021-03-23 Vecna Robotics, Inc. System and method of providing delivery of items from one container to another container in a hybrid environment
US20210323767A1 (en) * 2018-12-25 2021-10-21 Beijing Geekplus Technology Co. Ltd. Transfer robot, warehouse logistics system and article transferring method
US11235930B2 (en) * 2018-03-20 2022-02-01 Bastian Solutions, Llc Robotic shuttle system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200242544A1 (en) * 2013-07-25 2020-07-30 IAM Robotics, LLC System and method for piece picking or put-away with a mobile manipulation robot
US11235930B2 (en) * 2018-03-20 2022-02-01 Bastian Solutions, Llc Robotic shuttle system
US10954067B1 (en) * 2018-07-13 2021-03-23 Vecna Robotics, Inc. System and method of providing delivery of items from one container to another container in a hybrid environment
US20200055671A1 (en) * 2018-08-14 2020-02-20 Nextshift Robotics, Inc. Method and system for automated transport of items
US20210323767A1 (en) * 2018-12-25 2021-10-21 Beijing Geekplus Technology Co. Ltd. Transfer robot, warehouse logistics system and article transferring method
US20210032031A1 (en) * 2019-07-29 2021-02-04 Nimble Robotics, Inc. Storage Systems and Methods for Robotic Picking

Similar Documents

Publication Publication Date Title
ES2790423T3 (es) Navegación usando rutas de viaje de robot planificadas
ES2913832T3 (es) Elemento de visualización para una eficiencia mejorada en operaciones de cumplimiento de pedidos asistidas por robots
US20180231973A1 (en) System and Methods for a Virtual Reality Showroom with Autonomous Storage and Retrieval
CN111557013B (zh) 仓库订单履行操作中的订单分组
US10984375B2 (en) Picking workstation with mobile robots and machine vision verification of each transfers performed by human operators
US20200339354A1 (en) Autonomous robotic system for automatically monitoring the state of shelves in shops
ES2863656T3 (es) Operaciones de poner en cola a robots para cumplimiento de pedidos
US9519882B2 (en) Autonomous mobile bin storage and retrieval system
JP2020007158A (ja) 自律的な注文履行及び在庫制御ロボット
CN108027915A (zh) 利用语义映射的机器人导航
CA3128208C (en) Robot assisted personnel routing
CN104718507A (zh) 自主行走装置的行走信息生成装置、方法及程序、以及自主行走装置
AU2023206158A1 (en) Robot gamification for improvement of operator performance
US20210213616A1 (en) Systems and methods for detection of features within data collected by a plurality of robots by a centralized server
CN113632121A (zh) 仓库订单履行操作中的搬运箱引导
JP2022510435A (ja) 顧客支援ロボットピッキング
WO2021003338A1 (en) Systems and methods for detection of features within data collected by a plurality of robots by a centralized server
WO2023092244A1 (es) Sistema robotico autonomo para la recoleccion de productos
JP2022523318A (ja) 倉庫注文履行動作における最適化された通い箱推奨プロセス
Natarajan et al. Vision-Guided Robot for Product Inspection
US20220236733A1 (en) Virtual mapping systems and methods for use in autonomous vehicle navigation
JP2023053635A (ja) ピッキング案内システム
JP2023053636A (ja) ピッキング案内システム
NZ778286B2 (en) Robot gamification for improvement of operator performance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964990

Country of ref document: EP

Kind code of ref document: A1