WO2019126888A1 - Sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas - Google Patents

Sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas Download PDF

Info

Publication number
WO2019126888A1
WO2019126888A1 PCT/CL2018/050135 CL2018050135W WO2019126888A1 WO 2019126888 A1 WO2019126888 A1 WO 2019126888A1 CL 2018050135 W CL2018050135 W CL 2018050135W WO 2019126888 A1 WO2019126888 A1 WO 2019126888A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
information
store
shelves
recognition
Prior art date
Application number
PCT/CL2018/050135
Other languages
English (en)
French (fr)
Inventor
Alvaro Marcelo Rodrigo Soto Arriaza
Original Assignee
Pontificia Universidad Catolica De Chile
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pontificia Universidad Catolica De Chile filed Critical Pontificia Universidad Catolica De Chile
Priority to US16/958,893 priority Critical patent/US11535451B2/en
Publication of WO2019126888A1 publication Critical patent/WO2019126888A1/es

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B65G1/1375—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on a commissioning stacker-crane or truck
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/042—Sensors
    • B65G2203/044—Optical

Definitions

  • the present application refers to an autonomous robotic system for the automatic monitoring of the state of shelves in stores, for example in retad stores, supermarkets, etc.
  • the main objective of the invention is to provide a mobile robot that is able to navigate autonomously through the aisles of a store, with the ability to monitor the state of the product shelves.
  • the robotic system of the invention solves problems associated with the operation of the shelves, mainly with respect to the detection of incorrect or missing price labels, verification of supply posters, detection of product stock, estimation of the product layout, and identification of poorly located products or with errors in the spatial extent assigned to the supplier in a shelf.
  • the invention relates to a method of operating the autonomous robotic system, for automatic monitoring of the state of shelves in stores.
  • the robot in order to determine the lack of stock, the robot identifies an empty space in the shelf, indicating lack of stock, and uses information from the store's planogram, that is, how the products are located on the shelves of the store. the store, to identify which product caused the lack of stock based on the information of said planogram. That is, the robot described in WO 2017/083424 Al does not directly identify the products, but indirectly infers the correspondence between empty space and product through the planogram information.
  • the robot described in WO 2017/083424 Al identifies the absence and presence of the products in the images using their visual appearance, differentiating one empty space from another that is not.
  • This is also a disadvantage since the robot described in the prior art does not allow to identify intermediate situations of stock, where the relation between empty space and quantity of stock of products depends on the type of product and its form of stacking, side by side , one over another, etc.
  • this robot is not able to accurately detect a situation of reduced stock and alert the replenishers in advance to the occurrence of a lack of stock.
  • document WO 2017/083424 Al highlights the definition of waypoints or reference points to guide the monitoring of shelves, that is, specific areas of the store that need monitoring.
  • waypoints are used by the prior art to define a navigation plan in advance, including priority information, which allows prioritizing the order in which points are visited, in particular, first visit the points with products more likely to suffer of stock, for example.
  • priority information allows prioritizing the order in which points are visited, in particular, first visit the points with products more likely to suffer of stock, for example.
  • this strategy allows prioritizing the points with the greatest probability of lack of stock, it does not privilege and therefore ensures total coverage of the store by virtue of monitoring the status of all its shelves.
  • the navigation approach employed in the prior art focuses on compliance with waypoints or reference points, and does not guarantee spatial coverage of the store.
  • the solution described in the patent US 7693868 B2 has the disadvantage that the robot does not perform a direct reading of the products on the shelves, instead, it extracts a product code to obtain a predetermined and stored image thereof, to then compare said image with the image of the shelf.
  • This indirect approach to identify the product does not address situations in which incorrect or missing codes are presented on the shelves, so in these cases the method proposed in the US patent 7693757 B2 does not make a correct identification and therefore a correct determination of the conditions of the possible lack of stock. It is worth mentioning that the presence of incorrect or missing codes is in itself a problem of great relevance for the supervision of shelves, common error rates higher than 10%.
  • document US 2009/0094140 Al of the company NCR describes a solution aimed at an aerial platform that allows to manage the inventory of a store, by capturing images and reading prices and products. For this, image recognition is used to extract information from product labels and product inventory, information that is compared with that contained in a database for identification and alert against any mismatch.
  • document US 2009/0094140 Al allows to identify discrepancies between captured information and stored information, it does not allow generating the current planogram of the store, based on stored information that does not necessarily correspond to the correct information in real time.
  • document US 2009/0094140 Al describes the use of cameras and beacons or beacons arranged in the store to determine the positioning of the aerial platform. In this way, this solution uses a modification of the environment, introducing an artificial location system for the robot. This complicates the navigation system and introduces problems associated with the maintenance of structural changes in the store.
  • the present invention refers to an autonomous robotic system for the automatic monitoring of the state of shelves in stores, capable of not only detecting the stock of products, but also identifying relevant information by incorporating capabilities to read information on product code and product price tags, temporary offers posters, and logos and labels of the products on display allowing access to their direct identification.
  • the present invention is capable of performing tasks such as detecting incorrect or missing price labels, determining the planogram of store shelves, determining the stock of products, verifying offer posters, and identifying of poorly located products or with errors in the spatial extent assigned to the supplier in a shelf.
  • Store shelves should be understood as any shelf, gondola, or structure arranged for the display of products.
  • relevant information must be understood as any information associated with the identification of the stock of products, labels and product labels, including logos and information printed on the packaging of products, labels and price labels, including codes, identifiers and values of the products, temporary or permanent posters arranged on the shelves. Additionally, the information is also considered in aisle posters and product distribution in the shelves, which allows the robot to have information pertinent to its location in the store, facilitating the operation of its autonomous navigation systems.
  • the invention proposes an autonomous robotic system, for automatic monitoring of the state of shelves in stores, comprising a mobile robot formed by a body with a mobile base, wherein said mobile base comprises a drive system connected to means of travel and direction.
  • Said mobile base may comprise a set of stability sensors, for example of the type accelerometers and / or gyroscopes, intended to control the movement of the robot to maintain its stability.
  • the mobile robot comprises an upper structure arranged to house sensors, one or more processing units, comprising one or more storage means and one or more processors, communication means, and other operating components of the robot, aimed at complying with its functions.
  • the upper structure of the robot is made of a strong and light material, protecting the sensitive components of the robot and maintaining a center of low mass, for example, aluminum is used.
  • the body of the robot is covered by a housing, arranged to protect the components of the robot inside it.
  • Said casing is made of a light and resistant material, protecting the sensitive components of the robot and maintaining a low center of mass, for example, fiberglass is used.
  • the communication means comprise a wireless communication link, for communication of information to at least one server located at a remote location, and / or a cable communication link, for communication of information to at least one server connected by cable to the robot.
  • the communications media generate alarms and / or daily reports regarding the stock of a product, incorrect or missing relevant information regarding the price labels and offers on the shelves, and / or incorrect position of a product on a shelf, and / or conformation of the layout and spatial extension used by each product on the shelf.
  • distance or proximity sensors are relevant for the detection of stock and the estimation of a planogram of products, since they allow the identification of distances or depths. In this sense, in addition to depth, these sensors allow to determine useful distances to quantify the size of the products, as well as the space in the nacelle that is not occupied.
  • the distance information is complemented by the identification of the product by reading its logos and labels, as well as the code and price on the corresponding display label.
  • the proposed robotic system comprises an autonomous navigation system that is in communication with the sensors, mainly with the laser sensor, with the image sensor, with the sensor of distance or depth or proximity.
  • said navigation system is in communication with at least one processing unit, which allows processing the information received to determine the autonomous navigation of the robot in real time.
  • the laser sensor associated with the navigation system is arranged to measure distances to the environment of the robot by methods known by the state of the art, capturing information from the shop's planimetry, where said information of the planimetry is processed by the navigation system.
  • Said navigation system constructs a map of the spatial configuration of the store and activates the means of movement and direction of the robot guiding it during navigation through the aisles of the store.
  • Said map can be two-dimensional or three-dimensional depending on the characteristics of the laser sensor used, according to the known state of the art.
  • the navigation system can be complemented with an RGB camera and an object recognition algorithm that allows identifying these objects and exclude them from the estimation of the position of the robot.
  • the navigation of the robot requires a map of the store, being possible to use techniques known by the prior art and known as SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • the robot has a system to locate its position on a pre-built map of the store's interior environment. This map is built automatically in a previous stage in which the robot is guided to go through the target store. Treading this estimate of its position and map information, the robot decides where to move.
  • SLAM techniques are also known as geometric, since they are based on a representation that reproduces part of the store's geometry to achieve the location of the robot.
  • Behavior-based navigation is based on the definition of a set of basic behaviors that the robot is able to execute without the need for a precise knowledge of the geometry of the store.
  • a behavior following the corridor allows the robot to navigate from the beginning to the end of a corridor without the need to maintain an exact estimate of its position in it, but only a rough estimate of its orientation in order to advance in Consistent shape in the longitudinal direction to the corridor.
  • the robot described in the present invention uses deep learning techniques to acquire a set of predefined behaviors through the use of imitation-based learning.
  • the robot is able to acquire the desired behavior by observing successful trajectories of execution of it, that is, by imitating the behavior of an expert.
  • the robot can achieve a robust navigation, specially designed to overcome the complexities of such spaces like supermarket stores.
  • the image sensor and the proximity sensor are arranged to visualize and measure the environment of the robot, capturing display and distance information. Said display and distance information is processed by the navigation system to generate dynamic navigation routes that adapt to obstacles present in the environment of the robot.
  • the image sensor and the distance or depth or proximity sensor are arranged on the front face of the robot, detecting obstacles in the corridors in the direction of movement of the robot, to distinguish people and cars from the robot. supermarket, for example, and thus allow the robot to generate dynamically navigation routes that allow you to evade these obstacles.
  • the navigation system determines the position of the robot in the store by recognizing the captured images and their association with the store. For example, the reading capabilities of the robot are used to read the posters that appear in the upper part of the store, indicating the information in the corridors. This allows the robot to be located in cases where geometric navigation fails, which is common when the supermarket presents significant changes in its configuration, for example, on the eve of Christmas or other special events, where the layout of the store changes substantially.
  • the robotic system of the invention also comprises a visual recognition system in communication with at least one image sensor, with at least one sensor distance or depth or proximity, with at least one processing unit and with means of communications.
  • Said recognition system being mainly directed to the detection and recognition of prices and products, comprises or is based on models or algorithms of detection and recognition of deep learning, for the detection and recognition of relevant information present in different areas of the shelves of the store.
  • the detection and recognition algorithms are trained with examples of typical store scenarios, including specific architectures optimized for the detection and recognition of the relevant information present in the different areas of the shelves, where said relevant information comprises letters, numbers and characters commonly used in stores and products.
  • the detection and recognition algorithms are executed on a remote server, once the captured images are communicated to said server through the means of communications.
  • the detection and recognition algorithms are executed in the mobile robot, by means of the processing unit (s).
  • detection and recognition algorithms are partially executed in the mobile robot, by means of the processing unit (s), and partially in a remote server, for example, the detection of the relevant information is carried out in the processing units. of the mobile robot and, once said relevant information is detected, it is communicated to the remote server for the recognition of the information in said server.
  • This last mode allows sending only the relevant parts of the captured images to the server, which performs the reading of the texts and labels, avoiding overloading the communication means and / or the processing units of the robot, avoiding sending and / or processing a large number of high resolution images through the means arranged in the robot.
  • the detection and recognition algorithm has an accuracy of at least 95% and an exhaustiveness of at least 99% in the detection of labels, an accuracy of at least 97% in the detection of the product code within the price tag, an accuracy of at least 96% in the price reading, an accuracy of at least 95% in the detection of product labels and an accuracy of at least 90% in the detection of the disposition of the products in the shelf.
  • the robotic system of the invention comprises a system for training the detection and recognition algorithms, wherein said training system can be manual, by means of a set of real images of usual scenarios on store shelves, or automatic, through a simulator of usual store shelving scenarios, said simulator formed by a set of synthetic images that simulate the passage of the robot through the aisles of the store, having said synthetic images photographic quality, being practically indistinguishable in comparison with the real images that the robot captures ..
  • the images of price tags and product codes are obtained manually by operators directly from databases or from the shelves of a store.
  • the simulator allows to generate synthetic images of shelves with products, simulating the passage of the robot through the aisles of the store as indicated above.
  • the scenario simulator allows a virtual robot to circulate through a virtual shelf in which the products and texts that appear are known.
  • the deep learning algorithms which require a supervised training, that is, they need examples of training with known labels, and also only achieve high levels of performance if they are trained with massive data sets, of order of millions of examples for a task like the one indicated.
  • the robot is able to automatically access millions of text images present in retail stores, each image with its corresponding label indicating the corresponding text. This massive number of examples allows us to improve the reading of price logos and texts in general, reaching levels of precision similar to that of a human operator.
  • the image sensor associated with the recognition system is arranged to capture images of the different areas of the shelves of the store and the sensor of distance or depth or proximity is arranged to determine the distance between the robot and a main plane of the shelf and / or a main plane of each relevant information source present in the shelves.
  • said relevant information is contained in the captured images, which are stored in the storage means or of the robot.
  • the different areas of the shelves are captured in several consecutive images, where each relevant information appears on average in 3 of the images captured.
  • consecutive images are fused by calculating a homography between successive images and merging the point clouds provided by the distance or depth sensor.
  • a panoramic view of each shelf is constructed with the information of appearance and depth or distance, where said panoramic view corresponds to the planogram of the products in each shelf of the store.
  • the panoramic view or planogram is analyzed by the detection and recognition algorithms for extracting relevant information regarding the layout and spatial extent of each product on the shelf.
  • the robotic system of the invention comprises a multi-objective planning system in communication with at least one processing unit and with the navigation system.
  • Said multi-objective planning system comprises a dynamic route planning routine that evaluates the coverage of all areas of the shelves of the store to be monitored, guaranteeing total coverage of the store.
  • the multi-objective planning system communicates with the navigation system to guide the robot according to the dynamic planning of the route, in real time.
  • the object of the multi-objective planning system is to balance various operating requirements. At its most basic level of operation, the planning system guarantees coverage of all areas of the store that need shelf monitoring, including following efficient routes and also being prepared to perform re-planning if problems are found, such as areas not accessible for maintenance or replacement of products.
  • the system of Planning considers the requirement of the robot recognition system, which requires acquiring adequate images from the shelves to correctly identify price and product labels.
  • the multi-objective planning system could determine, for example, to take an image again if it was blurred due to a sudden movement of the robot, marking the position of the image that must be recaptured to return to that position before to finish capturing images.
  • the multi-objective planning system of the autonomous robotic system of the invention comprises a subsystem of quality certification and coverage of the captured images, which evaluates the quality of the images captured according to the requirements of the recognition system for detection and recognition of the relevant information, and that evaluates the total coverage of the different areas of the store shelves in the path of the robot, determining if an image should be captured again and re-planning the route if necessary.
  • the multi-objective planning system communicates with the navigation system to activate the means of travel and direction upon request.
  • the navigation system comprises a subsystem or tracking behavior of racks, wherein said racking tracking subsystem determines the main plane of the store racking integrating the information of at least one sensor of distance or depth or proximity and of at least one image sensor, guiding the robot parallel to the main plane of the shelf.
  • the shelf tracking subsystem uses the depth information to estimate the main shelf plan.
  • the robotic system of the invention uses the depth information to estimate the position of the plane that constitutes the main face of the shelf, to then plan the movement of the robot so that it maintains a navigation parallel to said plane and facilitates the operation of sensors that capture information from the shelf.
  • This behavior is called "shelf tracking".
  • the robot follows this behavior until an event interrupts it, for example, the presence of an obstacle that must be evaded, such as the presence of a car or a person. In front of this scenario the robot
  • the autonomous robotic system of the invention comprises at least one image sensor and at least one sensor of distance or depth or proximity, arranged on one or both of the side faces of the robot, capturing images of the different areas from the shelves towards the left and / or right sides of the robot.
  • one modality of the lateral distribution of the sensors comprises two capture sensors, each capture sensor formed by the union of an image sensor with a distance or depth or proximity sensor, wherein said capture sensors are located arranged in the upper structure of the robot separated at different heights within the upper structure, capturing images of the entire height of the shelves.
  • This configuration of sensors at different heights in the body of the robot makes it possible to guarantee that the captured images cover the entire shelf, in addition, it allows to capture information from hanging posters as posters of corridors.
  • the capture sensors can be located towards the lower end of the body of the robot, above the movable base, for example 1 meter high, and towards the upper end of the body of the robot, for example 2 meters high.
  • each capture sensor is formed by high resolution RGB type image sensors (Red Creen Blue) to distinguish small texts and RGB-D sensors (Red Bear Blue Depth) to capture depth information.
  • RGB type image sensors Red Creen Blue
  • RGB-D sensors Red Believe Blue Depth
  • the autonomous robotic system of the invention may include a remote charging station for charging the power supply or batteries of the robot.
  • Said remote charging station arranged in a specific position in the store, preferably in a service area, for charging the power supply or batteries that the robot's motor system owns, supplying power wirelessly or by cables to said robot. power supply.
  • the robot goes autonomously to the remote charging station and activates a battery recharging behavior that allows it to adjust its movements to connect autonomously to a battery recharging base arranged in said remote charging station.
  • the robot comprises a docking system that allows autonomous connection to the charging base of the remote charging station.
  • the autonomous robotic system comprises a graphic interface for interaction with a user, said graphic interface being integrated in the body of the robot or being connectable thereto through the communication means.
  • Figure 1 shows a representative diagram of the body of the robot, identifying the components involved in the capture of information
  • Figure 2 shows an example of the detection of labels or price tags on a shelf, together with the detection of the price on said labels.
  • Figure 3 shows an example of the recognition of prices on the labels or signs of a shelf.
  • Figure 4 shows an example of the detection of the product planogram on a shelf.
  • Figure 5 shows a schematic of the procedure for monitoring the state of racks according to an embodiment of the invention.
  • Figure 6 shows a schematic of the navigation procedure for the monitoring of shelves according to an embodiment of the invention.
  • Figure 1 shows a representative diagram of the body (1) of the robot according to an embodiment of the invention.
  • two capture sensors (45, 45 ') are arranged at different heights inside the body (1) of the robot, fixed to the upper structure (2) of the robot body towards one of its lateral faces, wherein each capture sensor is formed by the union of an image sensor (4, 4 ') with a distance or depth or proximity sensor (5, 5').
  • the two capture sensors (45, 45 ') shown are arranged at different heights within the body (1) of the robot, specifically in the upper structure (2) of the robot, allowing to cover all the height of the shelf to be monitored and thus capture all the necessary information from said shelf.
  • Figure 1 shows schematically the field of view or capture of the robot on a shelf (10).
  • a capture sensor or more than two capture sensors located at different heights, and on one or both lateral sides, the main object being to capture all or as much information as possible. interest from the shelves while the robot navigates the aisles of the store.
  • the upper structure (2) is attached at its lower part to the mobile base (3) of the robot, which comprises the robot's motor system (not shown) connected to means of travel and address (31).
  • the means of displacement and direction (31) are a set of wheels driven by the motor system of the robot.
  • the drive system comprises one or more electric motors arranged in the mobile base (3), connected to one or more power sources (not shown) arranged in said mobile base (3) or in the upper structure (2) , to energize the motor system and drive the means of travel and direction (31).
  • Figure 1 also shows the arrangement of at least one laser sensor (6) disposed towards the front face of the robot, in this case located above the mobile base (3) of the robot, wherein said laser sensor (6) is It has to measure distances to the environment of the robot, for example, the distance to obstacles.
  • Figure 1 also shows the schematization of at least one processing unit (7), comprising at least one storage means and at least one processor, arranged to store and process the information captured by the robot, respectively.
  • a processing unit (7) is provided for each capture sensor (45, 45 ') arranged in the body (1) of the robot, which allows separate processing capabilities for the captured information of the shelf, and thus have processing units of lower consumption and smaller size inside the body (1).
  • Figure 1 also shows the schematization of communication means (8) arranged in the body (1) of the robot, said communication means (8) comprise a wireless communication link, for communication of information to at least one server located in a remote location (not shown), and / or a communications link by cable, for communication of information to at least one server connected by cable to the robot
  • Figure 1 also shows the schematization of a docking system (9) of the robot for autonomous connection thereof to a charging station of a remote charging station (not shown).
  • the robot goes autonomously to the remote charging station and activates a battery recharging behavior that allows it to adjust its movements in order to autonomously connect to the base of the battery. recharging batteries arranged in said remote charging station, supplying power wirelessly or by cables to the power supply of the robot.
  • the robot has at least one image sensor that can be associated with at least one distance sensor or depth or proximity, arranged towards the front face of the robot to assist in the detection of obstacles that they get in the path of the robot, allowing the robot to take evasive actions to get around the obstacle and continue with the monitoring.
  • Figure 1 shows a specific arrangement of the components within the body (1) of the robot
  • any variation in the arrangement of the components of the robot is considered within the scope of the present application, considering that said provision seeks maximize the operability of the components in relation to their functions.
  • the arrangement of the components within the body of the robot contemplate the weight of the same and the distribution of the center of mass of the robot, seeking to maintain a center of mass as low as possible to avoid affecting the stability of the robot during its displacement.
  • Figure 2 shows an example of the detection of information arranged in a rack (10) by the recognition system of the robot, said information detected enclosed in pictures (11, 12, 13).
  • the detection of the labels or price labels (11) on the shelves (10) is shown, which contain the information of the product that should be arranged on the shelf, information comprising, product price and product code. product, among others.
  • Figure 2 shows the detection of the price of the product (12) within the label or label (11) detected and the detection of texts in the packages of the products (13), showing that the robot is capable of capturing multiple information through the image sensors arranged for such purposes.
  • the detection and subsequent recognition of the information is performed on captured and stored images.
  • the robot perform the detection and / or recognition in real time, that is, detecting the rectangular areas (11, 12, 13) where relevant text appears, in the example of figure 2, text of the labels or strips with information about each product (11), the price within the label (12) and texts in each product (13).
  • This real-time detection mode allows to process and store only the detected portions of the images, making the recognition of the texts and prices only on the relevant portions of the images. This allows not overloading the communication means and the processing unit (s), avoiding the processing and / or sending of a large number of high resolution images.
  • Figure 3 shows an example of the recognition of prices on the labels or labels of a shelf, identifying the prediction after recognition of the price by the recognition system and a certainty factor of said prediction.
  • the robot recognition system in particular the detection and recognition algorithms that are comprised by said system, are configured to process the images captured by the capture sensor (s), detect the relevant portions of said images and to predict the information of numbers and texts contained in these images. In this case, correct predictions are shown with different degrees of certainty, product of the scenario from which the prediction was made (blurred image, inclined label, camera not perpendicular to the label, shadows, etc.).
  • Figure 4 shows a graphic representation of an image of a shelf (10) with the identification of the product planogram (14) therein, that is, the identification of how different products present in the shelf (10) are organized. From figure 4 it is possible to show that the robot is able to distinguish between different products, for example by identifying types of labels and / or by identifying the external appearance of each product, achieving great precision in the determination of the planogram (14). This information allows, among others, to determine if the space and location assigned to a certain product in a rack is occupied correctly or not, activating the corresponding alarms.
  • Figure 5 shows a representative diagram of the procedure of monitoring the state of shelving executed by the robot of the invention, covering the main stages of said procedure.
  • the monitoring procedure executed by the robotic system of the invention comprises steps that can be performed simultaneously and / or sequentially, in the order shown or in a different order.
  • the robotic system of the invention begins its journey through the aisles of the store.
  • a route plan has been entered into the robot by an operator, either directly to the robot or remotely through a server and the robot's communication means;
  • a start time has been programmed for the robot's free route through the store, with a specific pre-established objective, for example, covering all the aisles of the store or part of them;
  • this start-of-travel stage comprises the status of the robot before starting the journey, which is usually at rest while waiting for the assigned daily operation cycle.
  • the robotic system can perform different operations, such as software update, recharging the power supply or batteries, planning work routines and navigation routes, etc.
  • the autonomous navigation of the robotic system of the invention is represented by the aisles of the store.
  • the robot travels the planned route capturing images from the shelves of products whose monitoring or supervision is required.
  • the navigation of the robot is configured to allow the desired coverage of the store using autonomous navigation and multi-objective planning systems to direct the robot in real time, incorporating obstacle avoidance and route re-planning in real time.
  • the navigation stage of the robot comprises the inspiration of specific navigation solutions, such as, for example, a subsystem or behavior of tracking shelves, as exemplified in Figure 6.
  • the main objective of image capture is to obtain relevant information from product shelves that require supervision or monitoring.
  • the capture sensor (s) of the robot and the processing unit (s) are used.
  • FIG. 5 there is a bidirectional relationship between image capture and robot navigation.
  • Said bi-directional relationship seeks to show that, according to one modality, the navigation employs image processing to direct the robot during the route, for example, for the detection of obstacles, re-planning of route by blurred images or incomplete information and / or detection of the main plan of the shelf for the behavior of tracking shelves that is exemplified in figure 6, among others.
  • the robotic system of the invention can verify whether or not the images fulfill the criteria for the detection and recognition of the relevant information and / or if there are no images for said information. detection and recognition. This stage is illustrated by a decision box that shows the robot's ability to recapture images if necessary.
  • Figure 5 shows the decision on the recapture of images after the capture thereof
  • the verification and decision on recapture of images can be performed immediately, subsequent to the capture of images, later, once the captured images are processed, and / or at the request of an operator.
  • the detection and recognition algorithms are executed on a remote server , once the captured images are communicated to said server through the means of communications;
  • the detection and recognition algorithms are executed in the mobile robot, by means of the processing unit (s);
  • detection and recognition algorithms are executed partially in the mobile robot, by means of the processing unit (s), and partially in a remote server, for example, the detection of the relevant information is carried out in the processing units of the mobile robot and, once said relevant information is detected, it is communicated to the remote server for the recognition of the information in said server.
  • the preferred modality for the detection and recognition of the relevant information is that in which the detection of the relevant information is carried out by the mobile robot, that is to say, using the processing unit or units arranged in said robot.
  • the relevant information is detected from the captured images (strips / labels, prices, product labels and any text / numbers / information of interest), based on algorithms of detection and recognition of deep learning included in the recognition system of the invention, which allows operation in real time.
  • the relevant information detected is then sent by means of the robot's communication means to a remote server for processing, for example, sorting the information by corridor.
  • This mode allows avoiding overloads to the communications media, avoiding the sending of high resolution images since only those portions of the images that contain the relevant information are communicated for processing.
  • the relevant information detected by the robot is sent to the remote server only once the mobile robot has finished its route, being stored in the storage means or of the robot while It runs through the store.
  • the recognition includes the prediction (reading) of the texts / numbers / information contained in the relevant information detected by the robotic system.
  • the recognition is carried out in three levels, namely price recognition, recognition of the product code (SAP) and recognition of product labels (information on the product packaging).
  • the recognition is performed by deep learning recognition algorithms included in the recognition system of the robotic system of the invention, said algorithms specially designed for each of the recognition tasks.
  • the training of these algorithms is mainly carried out using the scenario simulator that contemplates an alternative of the invention, where said simulator is capable of providing a large number of synthetic images, of the order of millions of images, that They represent different scenarios of shelves in stores.
  • the parameters of the recognition algorithms are subsequently refined using real images, of the order of thousands, captured directly in the store.
  • the recognition of the relevant information in the stage identified as detection and / or recognition includes further processing of the recognized information to filter, consolidate and send the information.
  • the recognized information is filtered in three stages, discarding the recognized information of low confidence, correcting the information recognized on the basis of redundant information (information contained in more than one image), and consolidating the recognized information coming from more than one image captured in a single result.
  • the information consolidated with the recognition of the relevant information is integrated with the estimate of the planogram of the products on the shelf, which is built on the robot or on the remote server by means of the information coming from the sensors of capture (images and depth).
  • this information integrated robotic system of the invention either through the processing units of the robot or server, is able to determine stock of products on shelves, as well as the status and area of exposure of the products, performing the monitoring of the shelf state object of the invention.
  • the invention contemplates the process of comparing the recognized information with the databases of the end user, allowing to verify the operational status of the shelves in relation to the price differences labeled with the list prices, the spatial distribution of the products depending on the assignment to each provider (planogram), etc.
  • the robotic system of the invention either through the processing unit (s) in the robot or through the server, generates reports and / or alarms to him or the end users about the difference between prices, replacement of products and / or product availability that allows the end user (s) to take the necessary actions in front of a certain state, for example, correct product labels and / or replace stock.
  • the main end users of the invention are the users associated with the store where the robot is traveled and the users associated with the suppliers of the monitored products.
  • Figure 6 shows a representative diagram of a subsystem or behavior of tracking shelves comprised by the autonomous navigation system of the invention.
  • said shelving tracking subsystem is configured to determine the main plane of the store shelving by integrating the information of at least one distance or depth or proximity sensor and of at least one image sensor, guiding the robot in parallel to the main plan of the bookshelf.
  • the shelf tracking subsystem exemplified in Figure 6 uses the depth information to estimate the main shelf plane and control the navigation according to the following.
  • the shelf depth information is processed in the captured images, said depth information is used to divide the shelf in different zones, from which a minimum depth estimation is made in selected areas.
  • the closest zones define the main plan of the shelf.
  • the minimum depth data is consolidated and, with this, the main plane of the shelf is generated, whereby it is possible to calculate both a distance between the robot and the main plane of the rack and the orientation of the robot with respect to said main plane.
  • This information is used by feedback means of angular velocity control, integrated in the navigation system, which allow to activate the means of movement and direction to direct the robot on request, in this case, making a parallel tracking to the main plane of the shelf .
  • the navigation system of the robot is able to control its linear speed and synchronize this speed with the capture of images, information that is also used by the feedback control of angular velocity to drive the means of displacement and direction in an appropriate way, in this case, making parallel tracking to the main plane of the shelving and ensuring adequate distance and orientation to improve the capture of images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Economics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Optics & Photonics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

La invención se refiere a un sistema robótico autónomo, para el monitoreo automático del estado de estanterías en tiendas, que comprende: un robot móvil formado por un cuerpo que comprende: una base móvil que comprende un sistema motriz conectado a medios de desplazamiento y dirección; una estructura superior dispuesta para alojar sensores, al menos una unidad de procesamiento y medios de comunicaciones, en donde dichos sensores comprenden: al menos un sensor láser; al menos un sensor de distancia o profundidad o proximidad; y al menos un sensor de imagen; un sistema de navegación en comunicación con al menos un sensor láser, con al menos un sensor de imagen, con al menos un sensor de distancia o proximidad y con al menos un procesador; un sistema de reconocimiento en comunicación con al menos un sensor de imagen, con al menos un sensor de distancia o proximidad, con al menos una unidad de procesamiento y con los medios de comunicaciones; y un sistema de planeamiento multiobjetivo en comunicación con al menos una unidad de procesamiento y con el sistema de navegación.

Description

SISTEMA ROBÓTICO AUTÓNOMO PARA EL MONITOREO AUTOMÁTICO DEL ESTADO DE ESTANTERÍAS EN TIENDAS
MEMORIA DESCRIPTIVA
La presente solicitud se refiere a un sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas, por ejemplo en tiendas de retad, supermercados, etc.
El objetivo principal de la invención es proporcionar un robot móvil que sea capaz de navegar autónomamente por los pasillos de una tienda, con la capacidad de monitorear el estado de las estanterías de productos. Específicamente, el sistema robótico de la invención soluciona problemas asociados a la operación de las estanterías, principalmente respecto a la detección de rótulos de precios incorrectos o faltantes, verificación de carteles de oferta, detección de stock de productos, estimación del layout de producto, e identificación de productos mal ubicados o con errores en la extensión espacial asignada al proveedor en una estantería.
Adicionalmente, la invención se refiere a un método de operación del sistema robótico autónomo, para el monitoreo automático del estado de estanterías en tiendas.
Antecedentes de la invención
En la actualidad el monitoreo de estanterías o góndolas en las grandes tiendas de retail se realiza principalmente en forma manual, en donde operarios recorren las tiendas revisando situaciones como exactitud y posicionamiento de rótulos de precios y carteles de ofertas, falta stock de productos, verificación de la extensión espacial utilizada por cada producto, o detección de productos mal ubicados. Sin embargo, la magnitud de las tiendas, los miles de productos disponibles, así como la minuciosidad requerida, hacen que soluciones manuales resulten ineficientes y poco exactas. Entre las soluciones dirigidas a resolver los problemas anteriores se encuentran los rótulos electrónicos de los productos en las estanterías. Sin embargo, dicha solución implica un alto costo de inversión y las altas tasas de fallas han limitado su aplicación. Adicionalmente, esta tecnología sólo apunta a una solución parcial del problema de supervisión de estanterías pues sólo se enfoca en la problemática de rótulos de precios.
Una complicación adicional del monitoreo de estanterías es que semanalmente cada tienda se ve afectada por diversos cambios en su layout o planograma de productos, los cuales son difíciles de registrar correctamente generando problemas tanto en la gestión de la tienda así como en la relación con proveedores que arriendan superficies de exhibición en góndolas. Han existido intentos por resolver el problema mediante instalación de cámaras para supervisar remotamente las estanterías desde salas de monitoreo por parte de operadores. Sin embargo, dichas soluciones son costosas, complejas de instalar y mantener, y no escalables al tamaño de toda una tienda. En esta misma línea, recientemente se han desarrollado soluciones para el reconocimiento automático de situaciones como detectar problemas de falta de stock de productos usando cámaras de video. Sin embargo, altos costos de instalación y mantención han mermado la adopción masiva de dicha estrategia.
En términos de robots para el retail, actualmente existen soluciones robóticas dirigidas a la asistencia de clientes que visitan las tiendas, proporcionando capacidad de lectura de códigos de productos y capacidad de encontrar los productos que los clientes buscan, dirigiéndose al lugar donde se encuentra el producto. Además, algunas de dichas soluciones permiten asistir a los operadores en tareas de revisión de inventarios en base a la información de la base de datos de inventario que posee la tienda. Sin embargo, dichas soluciones no han demostrado capacidad para escalar a los requerimientos de toda una tienda y más importante aún no han demostrado ser una solución efectiva e integral a los diversos desafíos y tareas que involucra la supervisión de estanterías de productos en tiendas de retail. En este contexto, el documento WO 2017/083424 Al de la empresa Simbe Robotics, Inc. divulga un robot para detección de stock-out, es decir, para identificar espacios vacíos en las estanterías que sean indicadores de falta de stock de un producto. El documento sólo se centra en la detección de stock-out no indicando métodos para solucionar otros problemas relacionados con la supervisión de estanterías. De acuerdo con dicho documento, para determinar la falta de stock el robot identifica un espacio vacío en la estantería, indicador de falta de stock, y utiliza información del planograma de la tienda, es decir, de cómo se ubican los productos en las estanterías de la tienda, para identificar qué producto originó la falta de stock en base a la información de dicho planograma. Es decir, el robot descrito en el documento WO 2017/083424 Al no identifica directamente los productos, sino que infiere indirectamente la correspondencia entre espacio vacío y producto a través de la información del planograma. Dicha característica resulta en una desventaja, ya que si bien el planograma de los productos en las estanterías de una tienda puede ser conocido y proporcionado al robot anticipadamente por un operador, usualmente dicho planograma cambia en el tiempo y las tiendas no tienen una versión actualizada del mismo. Por lo tanto, la solución en el documento WO 2017/083424 Al solo será útil si se cuenta con un planograma de la tienda actualizado, ya que no contar con el mismo podría resultar en identificar incorrectamente un producto.
Por otra parte, el robot descrito en el documento WO 2017/083424 Al identifica la ausencia y presencia de los productos en las imágenes utilizando su apariencia visual, diferenciando un espacio vacío de otro que no lo está. Esto también es una desventaja ya que el robot descrito en el arte previo no permite identificar situaciones intermedias de stock, donde la relación entre espacio vacío y cantidad de stock de productos depende del tipo de producto y su forma de apilamiento, uno al lado del otro, uno sobre otro, etc. Así ese robot no es capaz de detectar en forma precisa una situación de stock reducido y alertar a los reponedores en forma anticipada a la ocurrencia de una falta de stock. Adicionalmente, en el documento WO 2017/083424 Al se destaca la definición de waypoints o puntos de referencia para guiar el monitoreo de las estanterías, es decir, zonas específicas de la tienda que necesitan monitoreo. Dichos waypoints son utilizados por el arte previo para definir un plan de navegación en forma anticipada, incluyendo información de prioridades, la cual permite priorizar el orden en que los puntos son visitados, en particular, visitar primero los puntos con productos más propensos a sufrir falta de stock, por ejemplo. Si bien esta estrategia permite priorizar los puntos con mayor probabilidad de falta de stock, no privilegia y por ende asegura una cobertura total de la tienda en virtud del monitoreo del estado de todas sus estanterías. Además, la aproximación de navegación empleada en el arte previo se centra en el cumplimiento de los waypoints o puntos de referencia, y no garantizar cobertura espacial de la tienda.
Por otra parte, en la patente US 7693757 B2 de la empresa IBM, se describe un sistema y método dirigidos a realizar inventario de una tienda mediante un robot móvil. En dicho documento se indica que el robot captura imágenes de las estanterías de una tienda con el objeto de identificar un código asociable a un producto, para comparar dicho código con una base de datos de productos y recuperar una imagen del producto asociado a dicho código. Luego, dicha imagen del producto asociada al código capturado es comparada con la imagen del producto desde las imágenes capturadas por el robot. En caso de que la comparación arroje que las imágenes del producto recuperada y capturada no calzan, se envía una alerta de falta de stock. Considerando lo anterior, la solución descrita en la patente US 7693868 B2 tiene la desventaja de que el robot no realiza una lectura directa de los productos en las estanterías, en cambio, extrae un código de producto para obtener una imagen predeterminada y almacenada del mismo, para luego comparar dicha imagen con la imagen de la estantería. Esta aproximación indirecta para identificar el producto no atiende a situaciones en las que códigos incorrectos o faltantes se presentan en las estanterías, por lo que en estos casos el método propuesto en la patente US 7693757 B2 no realiza una correcta identificación y por ende una correcta determinación de las condiciones de la eventual falta de stock. Cabe mencionar que la presencia de códigos incorrectos o faltantes es en sí un problema de gran relevancia para la supervisión de estanterías, siendo común tasas de error superiores al 10%.
Al igual que el documento WO 2017/083424 Al de la empresa Simbe, la solución en la patente US 7693757 B2 de la empresa IBM no permite identificar errores de etiquetado ni analizar la distribución, planograma o layout de los productos en la estantería.
Finalmente, el documento US 2009/0094140 Al de la empresa NCR describe una solución dirigida a una plataforma aérea que permite gestionar el inventario de una tienda, mediante la captura de imágenes y la lectura de precios y productos. Para ello se emplea reconocimiento de imágenes que permite extraer la información de las etiquetas de productos y del inventario de productos, información que es comparada con la contenida en una base de datos para la identificación y alerta frente a cualquier discordancia. Si bien la solución en el documento US 2009/0094140 Al permite identificar discordancias entre información capturada e información almacenada, no permite generar el planograma actual de la tienda, basándose en información almacenada que no necesariamente corresponde a la información correcta en tiempo real. Además, el documento US 2009/0094140 Al describe el empleo de cámaras y faros o balizas dispuestos en la tienda para determinar el posicionamiento de la plataforma aérea. De esta manera, esta solución recurre a una modificación del ambiente, introduciendo un sistema de localización artificial para el robot. Esto complejiza el sistema de navegación e introduce problemas asociados a la mantención de los cambios estructurales de la tienda.
Por lo tanto, resulta necesario contar con un sistema robótico completamente autónomo, que pueda navegar en una tienda sin la necesidad de intervenir la tienda incluyendo iconos o balizas, y que sea capaz de generar información de las condiciones actuales de distribución de productos en las góndolas, evitando identificaciones indirectas que involucran dificultades dadas por los continuos cambios en la distribución de los productos, rótulos de precios y carteles dentro de la tienda.
Además, se hace necesario contar con una solución que combine la información visual con mediciones de distancia o profundidad, enriqueciendo la información capturada con datos que garanticen la correcta recopilación de información y que permitan detectar el stock de un producto con un alto grado de precisión.
Por otra parte, resulta necesario contar con un sistema capaz de leer todo tipo de rótulos y carteles en la tienda, capturando información relevante desde las estanterías, lo que incluye, logos de productos, carteles con información de pasillos, rótulos de precios, carteles de oferta, etc.
Finalmente, resulta necesario contar con un sistema robótico autónomo que tenga un sistema de planificación de las rutas de navegación que permita una eficiente cobertura espacial, incluyendo técnicas de replaneamiento en caso que se identifiquen puntos de la tienda que quedaron pendientes ya sea por presencia de un obstáculo o por captura de imágenes de calidad insuficiente, volviendo a dichos puntos luego de finalizar la ruta garantizando una cobertura total de las estanterías a analizar.
Por lo tanto, es necesario contar con un sistema robótico que entregue una solución integral a los principales problemas que conlleva el monitoreo de estanterías en tiendas, de acuerdo a lo indicado anteriormente.
Breve descripción de la invención
Para resolver los problemas existentes en las soluciones pertenecientes al arte previo, la presente invención se refiere a un sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas, capaz de no solo detectar el stock de productos, sino que también identificar información relevante mediante la incorporación de capacidades para leer la información en etiquetas de códigos y precios de productos, carteles temporales de ofertas, y logos y etiquetas de los productos en exhibición permitiendo acceder a su directa identificación. Mediante estas capacidades no incorporadas en ninguna solución anterior, la presente invención es capaz de realizar tareas como detectar rótulos de precios incorrectos o faltantes, determinar el planograma de las estanterías de la tienda, determinar el stock de productos, verificar carteles de oferta, e identificar de productos mal ubicados o con errores en la extensión espacial asignada al proveedor en una estantería.
Por estanterías de la tienda se debe entender cualquier estante, góndola, o estructura dispuesta para la exhibición de productos. Además, por información relevante se debe entender cualquier información asociada a la identificación del stock de productos, etiquetas y rótulos de productos, incluyendo logos e información impresa en el empaque de los productos, etiquetas y rótulos de precios, incluyendo códigos, identificadores y valores de los productos, carteles temporales o permanentes dispuestos en las estanterías. Adicionalmente, se considera también la información en carteles de pasillos y distribución de productos en las estanterías, la cual permite al robot contar con información pertinente a su ubicación en la tienda, facilitando la operación de sus sistemas de navegación autónoma.
Para ello, la invención propone un sistema robótico autónomo, para el monitoreo automático del estado de estanterías en tiendas, que comprende un robot móvil formado por un cuerpo con una base móvil, en donde dicha base móvil comprende un sistema motriz conectado a medios de desplazamiento y dirección. Dicha base móvil puede comprender un conjunto de sensores de estabilidad, por ejemplo del tipo acelerómetros y/o giróscopos, destinados al control del movimiento del robot para mantener su estabilidad. Además, el robot móvil comprende una estructura superior dispuesta para alojar sensores, una o más unidades de procesamiento, que comprenden uno o más medios de almacenamiento y uno o más procesadores, medios de comunicaciones, y otros componentes operativos del robot, dirigidos al cumplimiento de sus funciones. Preferentemente, la estructura superior del robot es de un material resistente y ligero, protegiendo los componentes sensibles del robot y manteniendo un centro de masa bajo, por ejemplo, se utiliza aluminio. En este contexto, los principales sensores con los que cuenta el sistema robótico de la invención son al menos un sensor láser, al menos un sensor de distancia o profundidad o proximidad y al menos un sensor de imagen. De acuerdo con una modalidad de la invención, el cuerpo del robot está cubierto por una carcasa, dispuesta para proteger en su interior los componentes del robot. Dicha carcasa es de un material ligero y resistente, protegiendo a los componentes sensibles del robot y manteniendo un centro de masa bajo, por ejemplo, se utiliza fibra de vidrio.
De acuerdo con una modalidad los medios de comunicaciones comprenden un enlace de comunicaciones inalámbrico, para comunicación de información a al menos un servidor ubicado en una posición remota, y/o un enlace de comunicaciones por cable, para comunicación de información a al menos un servidor conectado por cable al robot. Además, los medios de comunicaciones generan alarmas y/o reportes diarios respecto al stock de un producto, información relevante incorrecta o faltante respecto a los rótulos de precios y ofertas en las estanterías, y/o posición incorrecta de un producto en una estantería, y/o conformación del layout y extensión espacial utilizada por cada producto en la estantería.
De acuerdo con una modalidad de la invención los sensores de distancia o proximidad resultan relevantes para la detección del stock y la estimación de un planograma de productos, pues permiten identificar distancias o profundidades. En este sentido, además de profundidad, dichos sensores permiten determinar distancias útiles para cuantificar el tamaño de los productos, como así mismo el espacio en la góndola que no se encuentra ocupado. La información de distancia se complementa con la identificación del producto mediante la lectura de sus logos y etiquetas, así como el código y precio en la etiqueta correspondiente de exhibición. Mediante la integración de estas fuentes de información se determina en forma precisa no solo una falta de stock, sino que también situaciones intermedias en que hay solo stock parcial de un producto. Por otra parte, el sistema robótico propuesto comprende un sistema de navegación autónoma que se encuentra en comunicación con los sensores, principalmente con el sensor láser, con el sensor de imagen, con el sensor de distancia o profundidad o proximidad. Además, dicho sistema de navegación se encuentra en comunicación con al menos una unidad de procesamiento, que permite procesar la información recibida para determinar la navegación autónoma del robot en tiempo real.
El sensor láser asociado al sistema de navegación está dispuesto para medir distancias al entorno del robot mediante métodos conocidos por el estado del arte, capturando información de la planimetría de la tienda, en donde dicha información de la planimetría es procesada por el sistema de navegación. Dicho sistema de navegación construye un mapa de la configuración espacial de la tienda y acciona los medios de desplazamiento y dirección del robot guiándolo durante la navegación por los pasillos de la tienda. Dicho mapa puede ser bidimensional o tridimensional dependiendo de las características del sensor láser utilizado, según estado de arte conocido. Para manejar el caso en que la vista de este sensor se encuentre ocluida por la presencia de objetos dinámicos en el ambiente como carros y personas, el sistema de navegación se puede complementar con una cámara RGB y un algoritmo de reconocimiento de objetos que permiten identificar estos objetos y excluirlos de la estimación de la posición del robot.
En este contexto, la navegación del robot necesita de un mapa de la tienda, siendo posible utilizar técnicas conocidas por el arte previo y conocidas como SLAM (Simultaneous Localization and Mapping). Básicamente el robot tiene un sistema para localizar su posición en un mapa preconstruido del ambiente interior de la tienda. Este mapa se construye en forma automática en una etapa previa en que el robot es guiado para recorrer la tienda objetivo. Pisando esta estimación de su posición y la información del mapa, el robot decide donde moverse. Estas técnicas de SLAM también se conocen como geométricas, dado que se basan en una representación que reproduce parte de la geometría de la tienda para lograr la localización del robot.
En la presente solución, si bien pueden usarse mapas preconstruidos y navegación geométrica, también se emplea navegación basada en comportamiento. La navegación basada en comportamiento se basa en la definición de un conjunto de comportamientos básicos que el robot es capaz de ejecutar sin la necesidad de un conocimiento preciso de la geometría de la tienda. A modo de ejemplo, un comportamiento seguir pasillo, permite al robot navegar desde el comienzo hasta el final de un pasillo sin la necesidad de mantener una estimación exacta de su posición en éste, sino solo una estimación gruesa de su orientación de manera de avanzar en forma consistente en la dirección longitudinal al pasillo. En particular, el robot descrito en la presenta invención utiliza técnicas de aprendizaje profundo para adquirir un set de comportamientos predefinidos mediante el uso de aprendizaje basado en imitación. Bajo esta modalidad de aprendizaje, el robot es capaz de adquirir el comportamiento deseado mediante la observación de trayectorias exitosas de ejecución de éste, es decir, mediante la imitación del comportamiento de un experto. De esta manera, mediante la identificación de un set de comportamientos básicos de navegación predefinidos y la asociación de los mismos a los espacios presentes en el recorrido de la tienda, el robot puede alcanzar una navegación robusta, especialmente diseñada para sortear las complejidades de espacios tales como tiendas de supermercado.
Adicionalmente, el sensor de imagen y el sensor de proximidad están dispuestos para visualizar y medir el entorno del robot, capturando información de visualización y distancia. Dicha información de visualización y distancia es procesada por el sistema de navegación para generar rutas de navegación dinámicas que se adaptan a obstáculos presentes en el entorno del robot. De acuerdo con una modalidad de la invención, el sensor de imagen y el sensor de distancia o profundidad o proximidad están dispuestos en la cara frontal del robot, detectando obstáculos en los pasillos en la dirección de movimiento del robot, para distinguir personas y carros de supermercado, por ejemplo, y así permitir que el robot pueda generar dinámicamente rutas de navegación que le permitan evadir estos obstáculos.
De acuerdo con una modalidad de la invención, el sistema de navegación determina la posición del robot en la tienda mediante el reconocimiento de las imágenes capturadas y su asociación con la tienda. Por ejemplo, se utilizan las capacidades de lectura del robot para leer los carteles que aparecen en la parte alta de la tienda, indicando la información de los pasillos. Esto permite al robot localizarse en casos en que la navegación geométrica falla, lo cual es común cuando el supermercado presenta cambios significativos en su configuración, por ejemplo, en vísperas de navidad u otros eventos especiales, donde el layout de la tienda cambia sustancialmente.
Aparte de la navegación, el sistema robótico de la invención también comprende un sistema de reconocimiento visual en comunicación con al menos un sensor de imagen, con al menos un sensor de distancia o profundidad o proximidad, con al menos una unidad de procesamiento y con medios de comunicaciones. Dicho sistema de reconocimiento, estando principalmente dirigido a la detección y reconocimiento de precios y productos, comprende o está basado en modelos o algoritmos de detección y reconocimiento de aprendizaje profundo, para la detección y el reconocimiento de información relevante presente en distintas áreas de las estanterías de la tienda. Los algoritmos de detección y reconocimiento están entrenados con ejemplos de escenarios típicos de tiendas, comprendiendo arquitecturas específicas optimizadas para la detección y el reconocimiento de la información relevante presente en las distintas áreas de las estanterías, en donde dicha información relevante comprende letras, números y caracteres comúnmente utilizados en tiendas y productos. Los algoritmos de detección y reconocimiento de etiquetas de precios, rótulos de precios y textos de productos, tienen altos niveles de precisión, así como eficiencia en el procesamiento de cientos de miles de imágenes capturadas al cubrir toda una gran tienda. De acuerdo con una modalidad, los algoritmos de detección y reconocimiento son ejecutados en un servidor remoto, una vez que las imágenes capturadas son comunicadas a dicho servidor a través de los medios de comunicaciones. De acuerdo con otra modalidad, los algoritmos de detección y reconocimiento son ejecutados en el robot móvil, mediante la o las unidades de procesamiento. De acuerdo con otra modalidad, algoritmos de detección y reconocimiento son ejecutados parcialmente en el robot móvil, mediante la o las unidades de procesamiento, y parcialmente en un servidor remoto, por ejemplo, la detección de la información relevante se realiza en las unidades de procesamiento del robot móvil y, una vez detectada dicha información relevante, se comunica la misma al servidor remoto para el reconocimiento de la información en dicho servidor. Esta última modalidad permite enviar solo las partes relevantes de las imágenes capturadas al servidor, que realiza la lectura de los textos y rótulos, evitando sobrecargar los medios de comunicaciones y/o las unidades de procesamiento del robot, evitando enviar y/o procesar una gran cantidad de imágenes de alta resolución a través de los medios dispuestos en el robot.
A modo de ejemplo, el algoritmo de detección y reconocimiento tiene una precisión de al menos 95% y una exhaustividad de al menos 99% en la detección de etiquetas, una precisión de al menos 97% en la detección del código del producto dentro de la etiqueta con el precio, una precisión de al menos 96% en la lectura de precios, una precisión de al menos 95% en la detección de rótulos de productos y una precisión de al menos 90% en la detección de la disposición de los productos en la estantería.
De acuerdo con una modalidad, el sistema robótico de la invención comprende un sistema de entrenamiento de los algoritmos de detección y reconocimiento, en donde dicho sistema de entrenamiento puede ser manual, mediante un conjunto de imágenes reales de escenarios usuales en estanterías de tiendas, o automático, mediante un simulador de escenarios usuales de estanterías de tiendas, dicho simulador formado por un conjunto de imágenes sintéticas que simulan el paso del robot por los pasillos de la tienda, teniendo dichas imágenes sintéticas calidad fotográfica, siendo prácticamente indistinguibles en comparación con las imágenes reales que captura el robot..
En el caso del sistema de entrenamiento manual, las imágenes de rótulos de precios y códigos de productos son obtenidas manualmente por operadores directamente desde bases de datos o desde las estanterías de una tienda. En el caso del sistema de entrenamiento automático, el simulador permite generar imágenes sintéticas de estanterías con productos, simulando el paso del robot por los pasillos de la tienda tal como indicado anteriormente.
En resumen, el simulador de escenarios permite que un robot virtual circule por una estantería virtual en la que se conocen los productos y textos que aparecen. Con esa información es posible entrenar los algoritmos de aprendizaje profundo, los cuales requieren un entrenamiento supervisado, es decir, necesitan de ejemplos de entrenamiento con rótulos conocidos, y además sólo logran altos grados de rendimiento si son entrenados con conjuntos masivos de datos, del orden de millones de ejemplos para una tarea como la indicada. Así, mediante la generación de escenarios virtuales de calidad foto realista, el robot es capaz de acceder en forma automática a millones de imágenes de textos presentes en tiendas de retail, cada imagen con su debido rótulo indicando el texto correspondiente. Esta masividad de ejemplos permite perfeccionar la lectura de logos de precios y textos en general alcanzado niveles de precisión similares a un operador humano. Esto permite obtener un robot capaz de leer la información disponible en la tienda, ya sea en rótulos de precios, rótulos de productos, carteles de oferta, letreros con información de pasillos, etc. Esta capacidad resulta clave y diferenciadora de la presente invención respecto a sistemas alternativos, lo cual además permite una solución integral a los distintos aspectos de la supervisión de estanterías, y facilitando el éxito del sistema robótico propuesto como solución comercial.
Por otra parte, el sensor de imagen asociado al sistema de reconocimiento está dispuesto para capturar imágenes de las distintas áreas de las estanterías de la tienda y el sensor de distancia o profundidad o proximidad está dispuesto para determinar la distancia entre el robot y un plano principal de la estantería y/o un plano principal de cada fuente de información relevante presente en las estanterías. En este contexto, dicha información relevante está contenida en las imágenes capturadas, las que son almacenadas en el o los medios de almacenamiento del robot.
De acuerdo con una modalidad, las distintas áreas de las estanterías son capturadas en varias imágenes consecutivas, en donde cada información relevante aparece en promedio en 3 de las imágenes capturadas. Además, las imágenes consecutivas son fusionadas mediante al cálculo de una homografia entre imágenes sucesivas y la fusión de las nubes de puntos provistas por el sensor de distancia o profundidad. Usando esta información se construye una vista panorámica de cada estantería con la información de apariencia y de profundidad o distancia, en donde dicha vista panorámica corresponde al planograma de los productos en cada estantería de la tienda. Luego, la vista panorámica o planograma es analizada por los algoritmos de detección y reconocimiento para la extracción de información relevante referente al layout y extensión espacial de cada producto en la estantería.
Finalmente, el sistema robótico de la invención comprende un sistema de planeamiento multi objetivo en comunicación con al menos una unidad de procesamiento y con el sistema de navegación. Dicho sistema de planeamiento multi objetivo comprende una rutina de planificación dinámica de rutas que evalúa la cobertura de todas las áreas de las estanterías de la tienda a monitorear, garantizando una cobertura total de la tienda. Además, el sistema de planeamiento multi objetivo se comunica con el sistema de navegación para guiar al robot de acuerdo a la planificación dinámica de la ruta, en tiempo real. El objeto del sistema de planeamiento multi objetivo es equilibrar diversos requerimientos de operación. En su nivel de operación más básico, el sistema de planeamiento garantiza una cobertura de todas las áreas de la tienda que necesiten el monitoreo de estanterías, incluyendo seguir rutas eficientes y también estar preparado para realizar re-planeamientos en caso de encontrar inconvenientes, tales como áreas no accesibles por mantención o reposición de productos. Adicional mente, el sistema de planeamiento considera requerimiento del sistema de reconocimiento del robot, que requiere adquirir imágenes adecuadas de las estanterías para identificar correctamente rótulos de precios y productos. En este sentido, el sistema de planeamiento multi objetivo podría determinar, por ejemplo, tomar nuevamente una imagen si es que esta resultó borrosa debido a un movimiento súbito del robot, marcando la posición de la imagen que debe ser recapturada para volver a dicha posición antes de terminar la captura de imágenes.
Considerando lo anterior, el sistema de planeamiento multi objetivo del sistema robótico autónomo de la invención comprende un subsistema de certificación de calidad y cobertura de las imágenes capturadas, que evalúa la calidad de las imágenes capturadas de acuerdo a requerimientos del sistema de reconocimiento para la detección y reconocimiento de la información relevante, y que evalúa la cobertura total de las distintas áreas de las estanterías de la tienda en el trayecto del robot, determinando si una imagen debe ser capturada nuevamente y re-planificando la ruta si es necesario. En este sentido, el sistema de planeamiento multi objetivo se comunica con el sistema de navegación para accionar los medios de desplazamiento y dirección a requerimiento.
De acuerdo con una modalidad preferente de la invención, el sistema de navegación comprende un subsistema o comportamiento de seguimiento de estanterías, en donde dicho subsistema de seguimiento de estanterías determina el plano principal de la estantería de la tienda integrando la información de al menos un sensor de distancia o profundidad o proximidad y de al menos un sensor de imagen, guiando al robot en forma paralela al plano principal de la estantería. El subsistema de seguimiento de estanterías utiliza la información de profundidad para estimar el plano principal de la estantería. Así determinando luego la dirección normal al plano principal de la estantería y la distancia del mismo con respecto al robot, un sistema de control diferencial permite accionar los medios de desplazamiento y dirección del robot ajustando rotación y distancia de éste respecto al plano principal de la estantería. En este sentido, el sistema robótico de la invención utiliza la información de profundidad para estimar la posición del plano que constituye la cara principal de la estantería, para luego planificar el movimiento del robot para que mantenga una navegación paralela a dicho plano y facilite la operación de los sensores que capturan información de la estantería. A este comportamiento se le denomina“seguimiento de estantería”. El robot sigue ese comportamiento hasta que algún evento lo interrumpa, por ejemplo, la presencia de un obstáculo que debe evadirse tal como la presencia de un carro o una persona. Frente a este escenario el robot
Primero espera un tiempo determinado para verificar si el obstáculo se mueve y le permita seguir con el seguimiento de estantería, en caso negativo el robot cambia desde el comportamiento “seguimiento de estantería” al comportamiento que se denomina“evasión de obstáculo”. Luego que el obstáculo es evadido, el robot vuelve al comportamiento“seguimiento de estantería” y, además, marca la zona que no pudo capturar de la estantería para volver más adelante a capturar los datos pendientes.
De acuerdo con una modalidad preferente el sistema robótico autónomo de la invención comprende al menos un sensor de imagen y al menos un sensor de distancia o profundidad o proximidad, dispuestos en una o ambas de las caras laterales del robot, capturando imágenes de las distintas áreas de las estanterías en dirección hacia los costados derecho y/o izquierdo del robot. En este contexto, una modalidad de la distribución lateral de los sensores comprende dos sensores de captura, cada sensor de captura formado por la unión de un sensor de imagen con un sensor de distancia o profundidad o proximidad, en donde dichos sensores de captura se encuentran dispuestos en la estructura superior del robot separados a distintas alturas dentro de la estructura superior, capturando imágenes de toda la altura de las estanterías. Esta configuración de sensores a distintas alturas en el cuerpo del robot permite garantizar que las imágenes capturadas cubran toda la estantería, además, permite capturar información de carteles colgantes como carteles de pasillos. A modo de ejemplo, los sensores de captura pueden ubicarse hacia al extremo inferior del cuerpo del robot, por sobre la base móvil, por ejemplo a 1 metro de altura, y hacia al extremo superior del cuerpo del robot, por ejemplo a 2 metros de altura.
De acuerdo con una modalidad de la invención cada sensor de captura está formado por sensores de imagen del tipo RGB {Red Creen Blue) de alta resolución para distinguir textos pequeños y sensores RGB-D {Red Creen Blue Depth) para captar información de profundidad.
Por otra parte, el sistema robótico autónomo de la invención puede incluir una estación remota de carga para la carga de la fuente de alimentación o baterías del robot. Dicha estación remota de carga dispuesta en una posición específica en la tienda, de preferencia en un área de servicio, para la carga de la fuente de alimentación o baterías que posee el sistema motriz del robot, suministrando energía en forma inalámbrica o por cables a dicha fuente de alimentación. De manera preferente al detectar niveles bajos de batería o al terminar la captura de imágenes, el robot se dirige en forma autónoma a la estación remota de carga y activa un comportamiento de recarga de baterías que le permite ajustar sus movimientos para conectarse en forma autónoma a una base de recarga de baterías dispuesta en dicha estación remota de carga. Para estos efectos, el robot comprende un sistema de docking o acoplamiento que permite la conexión autónoma a la base de recarga de la estación remota de carga.
Además, de acuerdo a otra modalidad de la invención el sistema robótico autónomo comprende una interfaz gráfica para la interacción con un usuario, dicha interfaz gráfica estando integrada en el cuerpo del robot o siendo conectable con el mismo a través de los medios de comunicaciones.
Breve descripción de las figuras
Como parte de la presente solicitud se presentan las siguientes figuras representativas de la invención, las que enseñan modalidades preferentes de la misma y, por lo tanto, no deben considerarse como limitantes a la definición de la materia reivindicada por la presente solicitud.
La figura 1 muestra un esquema representativo del cuerpo del robot, identificando los componentes involucrados en la captura de información;
La figura 2 muestra un ejemplo de la detección de etiquetas o rótulos de precios en una estantería, junto con la detección del precio en dichas etiquetas.
La figura 3 muestra un ejemplo del reconocimiento de precios en las etiquetas o rótulos de una estantería.
La figura 4 muestra un ejemplo de la detección del planograma de productos en una estantería.
La figura 5 muestra un esquema del procedimiento de monitoreo del estado de estanterías de acuerdo con una modalidad de la invención.
La figura 6 muestra un esquema del procedimiento de navegación para el monitoreo de estanterías de acuerdo con una modalidad de la invención.
Descripción de la modalidad preferente
La figura 1 muestra un esquema representativo del cuerpo (1) del robot de acuerdo con una modalidad de la invención. En la modalidad de la figura 1 se disponen dos sensores de captura (45, 45’) a distintas alturas dentro del cuerpo (1) del robot, fijados a la estructura superior (2) del cuerpo del robot hacia una de sus caras laterales, en donde cada sensor de captura está formado por la unión de un sensor de imagen (4, 4’) con un sensor de distancia o profundidad o proximidad (5, 5’). Tal como se observa en la figura 1, los dos sensores de captura (45, 45’) mostrados se disponen a diferentes alturas dentro del cuerpo (1) del robot, específicamente en la estructura superior (2) del robot, permitiendo abarcar toda la altura de la estantería a monitorear y así capturar toda la información necesaria desde dicha estantería. En efecto, la figura 1 muestra esquemáticamente el campo de visión o de captura del robot sobre una estantería (10). De acuerdo con modalidades alternativas se puede contar con un sensor de captura o más de dos sensores de captura, ubicados a distintas alturas, y en una o ambas caras laterales, siendo el objeto principal permitir capturar toda o la mayor cantidad de información de interés desde las estanterías mientras el robot navega por los pasillos de la tienda.
En la modalidad de la figura 1 también puede apreciarse que la estructura superior (2) se encuentra unida en su parte inferior a la base móvil (3) del robot, que comprende el sistema motriz del robot (no mostrado) conectado a medios de desplazamiento y dirección (31). En este caso los medios de desplazamiento y dirección (31) son un conjunto de ruedas impulsadas por el sistema motriz del robot. En una modalidad preferente el sistema motriz comprende uno o más motores eléctricos dispuestos en la base móvil (3), conectados a una o más fuentes de energía (no mostradas) dispuestas en dicha base móvil (3) o en la estructura superior (2), para energizar al sistema motriz e impulsar a los medios de desplazamiento y dirección (31).
En la figura 1 también puede apreciarse la disposición de al menos un sensor láser (6) dispuesto hacia la cara frontal del robot, en este caso ubicado por sobre la base móvil (3) del robot, en donde dicho sensor láser (6) se dispone para medir distancias al entorno del robot, por ejemplo, la distancia a obstáculos.
En la figura 1 también se muestra la esquematización de al menos una unidad de procesamiento (7), que comprende al menos un medio de almacenamiento y al menos un procesador, dispuestos para almacenar y procesar la información capturada por el robot, respectivamente. De acuerdo con una modalidad de la invención, se dispone una unidad de procesamiento (7) por cada sensor de captura (45, 45’) dispuesto en el cuerpo (1) del robot, lo que permite capacidades de procesamiento separadas para la información capturada de la estantería, y así disponer unidades de procesamiento de menor consumo y menor tamaño dentro del cuerpo (1).
En la figura 1 también se muestra la esquematización de medios de comunicaciones (8) dispuestos en el cuerpo (1) del robot, dichos medios de comunicaciones (8) comprenden un enlace de comunicaciones inalámbrico, para comunicación de información a al menos un servidor ubicado en una posición remota (no mostrado), y/o un enlace de comunicaciones por cable, para comunicación de información a al menos un servidor conectado por cable al robot
(no mostrado).
Finalmente, en la figura 1 también se muestra la esquematización de un sistema de docking o acoplamiento (9) del robot para la conexión autónoma del mismo a una base de recarga de una estación remota de carga (no mostrada). Al detectarse niveles bajos de batería o al terminar la captura de imágenes, el robot se dirige en forma autónoma a la estación remota de carga y activa un comportamiento de recarga de baterías que le permite ajustar sus movimientos para conectarse en forma autónoma a la base de recarga de baterías dispuesta en dicha estación remota de carga, suministrando energía en forma inalámbrica o por cables a la fuente de alimentación del robot.
En otras modalidades no ejemplificadas en la figura 1 el robot cuenta con al menos un sensor de imagen que puede estar asociado a al menos un sensor de distancia o profundidad o proximidad, dispuestos hacia la cara frontal del robot para asistir en la detección de obstáculos que se interpongan en la trayectoria del robot, permitiendo al mismo tomar acciones evasivas para sortear el obstáculo y continuar con el monitoreo.
Adicionalmente, si bien en la figura 1 se muestra una disposición específica de los componentes dentro del cuerpo (1) del robot, cualquier variación en la disposición de los componentes del robot se considera dentro del alcance de la presente solicitud, considerando que dicha disposición busca maximizar la operatividad de los componentes en relación a sus funciones. Por otra parte, es preferible que la disposición de los componentes dentro del cuerpo del robot contemple el peso de los mismos y la distribución del centro de masa del robot, buscando mantener un centro de masa lo más bajo posible para evitar afectar la estabilidad del robot durante su desplazamiento.
La figura 2 muestra un ejemplo de la detección de información dispuesta en una estantería (10) por parte del sistema de reconocimiento del robot, dicha información detectada encerrada en cuadros (11, 12, 13). En este ejemplo en particular se muestra la detección de las etiquetas o rótulos de precios (11) en las estanterías (10), que contienen la información del producto que debiese estar dispuesto en la estantería, información que comprende, precio del producto y código del producto, entre otros. Además, en la figura 2 se muestra la detección del precio del producto (12) dentro de la etiqueta o rótulo (11) detectado y lña detección de textos en los envases de los productos (13), mostrando que el robot es capaz de captar información múltiple mediante los sensores de imagen dispuestos para tales efectos.
En este contexto, de acuerdo con una modalidad de la invención la detección y posterior reconocimiento de la información se realiza sobre imágenes capturadas y almacenadas. Sin embargo, en otra modalidad el robot realizar la detección y/o reconocimiento en tiempo real, es decir, detectando las áreas rectangulares (11, 12, 13) donde aparece texto relevante, en el ejemplo de la figura 2, texto de las etiquetas o flejes con información sobre cada producto (11), el precio dentro de la etiqueta (12) y textos en cada producto (13). Esta modalidad de detección en tiempo real permite procesar y almacenar solo las porciones detectadas de las imágenes, realizando el reconocimiento de los textos y precios solo sobre las porciones relevantes de las imágenes. Esto permite no sobrecargar los medios de comunicaciones y la o las unidades de procesamiento, evitando el procesamiento y/o envío de una gran cantidad de imágenes de alta resolución.
La figura 3 muestra un ejemplo del reconocimiento de precios en las etiquetas o rótulos de una estantería, identificando la predicción luego de reconocido el precio por parte del sistema de reconocimiento y un factor de certeza de dicha predicción. En este sentido, el sistema de reconocimiento del robot, en particular los algoritmos de detección y reconocimiento que están comprendidos por dicho sistema, están configurados para procesar las imágenes capturadas por el o los sensores de captura, detectar las porciones relevantes de dichas imágenes y para predecir la información de números y textos que se encuentra contenida en dichas imágenes. En este caso, se muestran predicciones correctas con distintos grados de certeza, producto del escenario desde el cual se realizó la predicción (imagen borrosa, etiqueta inclinada, cámara no perpendicular a la etiqueta, sombras, etc.).
La figura 4 muestra una representación gráfica de una imagen de una estantería (10) con la identificación del planograma de productos (14) en la misma, es decir, la identificación de cómo se organizan distintos productos presentes en la estantería (10). De la figura 4 es posible evidenciar que le robot es capaz de distinguir entre distintos productos, por ejemplo al identificar tipos de etiquetas y/o al identificar la apariencia externa de cada producto, logrando gran precisión de la determinación del planograma (14). Esta información permite, entre otros, determinar si el espacio y ubicación asignado a cierto producto en una estantería está ocupado correctamente o no, activándose las alarmas correspondientes.
La figura 5 enseña un esquema representativo del procedimiento de monitoreo del estado de estantería que ejecuta el robot de la invención, abarcando las etapas principales de dicho procedimiento. En dicho esquema se busca ejemplificar las etapas principales del procedimiento de monitoreo, sin limitar la operación del sistema robótico de la invención, particularmente, en relación al orden mostrado de etapas. En efecto, es importante destacar que el procedimiento de monitoreo ejecutado por el sistema robótico de la invención comprende etapas que pueden realizarse en forma simultánea y/o secuencial, en el orden mostrado o en un orden diferente.
En este contexto, a continuación se describen las etapas representadas en la figura 5, identificando las distintas alternativas contempladas por la invención.
Inicio del recorrido
En esta etapa, ilustrada en la figura 5 como la etapa inicial del procedimiento, el sistema robótico de la invención inicia su recorrido a través de los pasillos de la tienda. Para dar inicio al recorrido del robot en la tienda existen múltiples alternativas, entre ellas: - se ha ingresado un plan de recorrido al robot por parte de un operario, ya sea directamente al robot o en forma remota a través de un servidor y de los medios de comunicaciones del robot;
- se ha programado una hora de inicio para recorrido libre del robot por la tienda, con un objetivo específico preestablecido, por ejemplo, cubrir todos los pasillos de la tienda o parte de ellos;
- existe un ciclo de trabajo diario que el robot debe cumplir;
- el robot se ha detenido dejando incompleto el recorrido anterior, o es necesario completar/complementar información faltante del recorrido anterior;
- el robot se ha detenido por un período breve para recargar la fuente de alimentación o baterías u por algún otro motivo, y se reanudará recorrido; y/o
- replanteamiento de ruta producto de la necesidad de recapturar imágenes o cubrir áreas no cubiertas en recorrido anterior.
Como indicado anteriormente, existen múltiples opciones de inicio de recorrido, no siendo objeto de esta invención definir todos los posibles escenarios que dan lugar al inicio de recorrido del sistema robótico de la invención.
Adicionalmente, esta etapa de inicio de recorrido comprende el estado del robot antes de iniciar el recorrido, que usualmente es de reposo a la espera del ciclo de operación diario asignado. Durante este tiempo de reposo el sistema robótico puede realizar distintas operaciones, como actualización de software, recarga de la fuente de alimentación o baterías, planeamiento de rutinas de trabajo y rutas de navegación, etc.
Navegación autónoma
En esta etapa, ilustrada en la figura 5 como la segunda etapa del procedimiento, se representa la navegación autónoma del sistema robótico de la invención por los pasillos de la tienda. En términos generales, el robot recorre la ruta planeada capturando imágenes de las estanterías de productos cuyo monitoreo o supervisión es requerida. La navegación del robot está configurada para permitir la cobertura deseada de la tienda utilizando los sistemas de navegación autónoma y de planeamiento multi objetivo para dirigir al robot en tiempo real, incorporando evasión de obstáculos y replaneamiento de ruta en tiempo real.
Adicionalmente, la etapa de navegación del robot comprende la inspiración de soluciones específicas de navegación, como por ejemplo, un subsistema o comportamiento de seguimiento de estanterías, como el que se ejemplifica en la figura 6.
Captura imágenes
En esta etapa, ilustrada en la figura 5 como la tercera etapa del procedimiento, se representa la captura de imágenes por parte del robot de la invención mientras éste navega en la tienda.
El objetivo principal de la captura de imágenes es obtener información relevante de las estanterías de productos que requieren supervisión o monitoreo. Para ello se utilizan el o los sensores de captura del robot y la o las unidades de procesamiento.
De acuerdo con la figura 5 existe una relación bidireccional entre la captura de imágenes y la navegación del robot. Dicha relación bidireccional busca mostrar que, de acuerdo con una modalidad, la navegación emplea procesamiento de imágenes para dirigir al robot durante el recorrido, por ejemplo, para la detección de obstáculos, replaneamiento de ruta por imágenes borrosas o información incompleta y/o detección del plano principal de la estantería para el comportamiento de seguimiento de estanterías que se ejemplifica en la figura 6, entre otros.
Adicionalmente, en la figura 5 se muestra que, una vez capturadas las imágenes, el sistema robótico de la invención puede verificar si las imágenes cumplen o no el criterio para la detección y el reconocimiento de la información relevante y/o si faltan imágenes para dicha detección y reconocimiento. Esta etapa se ilustra mediante un cuadro de decisión que muestra la capacidad del robot para volver a capturar imágenes en caso de que sea necesario.
En este contexto, si bien en la figura 5 se muestra la decisión sobre la recaptura de imágenes posterior a la captura de las mismas, de acuerdo a las modalidades de la invención la verificación y decisión sobre recaptura de imágenes puede realizarse en forma inmediata, posterior a la captura de imágenes, en forma posterior, una vez que se procesan las imágenes capturadas, y/o a requerimiento por parte de un operario.
Detección v/o reconocimiento
En esta etapa, ilustrada en la figura 5 como la cuarta etapa del procedimiento, se engloba todo lo concerniente a detección y reconocimiento de la información relevante desde las imágenes capturadas. Al respecto, ya se ha indicado en la presente solicitud que existen múltiples variantes al proceso de detección y reconocimiento de la información relevante, en donde, por ejemplo, de acuerdo con una modalidad, los algoritmos de detección y reconocimiento son ejecutados en un servidor remoto, una vez que las imágenes capturadas son comunicadas a dicho servidor a través de los medios de comunicaciones; de acuerdo con otra modalidad, los algoritmos de detección y reconocimiento son ejecutados en el robot móvil, mediante la o las unidades de procesamiento; de acuerdo con otra modalidad, algoritmos de detección y reconocimiento son ejecutados parcialmente en el robot móvil, mediante la o las unidades de procesamiento, y parcialmente en un servidor remoto, por ejemplo, la detección de la información relevante se realiza en las unidades de procesamiento del robot móvil y, una vez detectada dicha información relevante, se comunica la misma al servidor remoto para el reconocimiento de la información en dicho servidor.
En este contexto, la modalidad preferente para la detección y reconocimiento de la información relevante es aquella en la cual la detección de la información relevante se realiza por el robot móvil, es decir, empleando la o las unidades de procesamiento dispuestas en dicho robot. Para ello, de las imágenes capturadas se detecta la información relevante (flejes/etiquetas, precios, rótulos de productos y cualquier texto/números/información de interés), en base a algoritmos de detección y reconocimiento de aprendizaje profundo comprendido en el sistema de reconocimiento de la invención, que permite la operación en tiempo real. La información relevante detectada es luego enviada mediante los medios de comunicaciones del robot a un servidor remoto para su procesamiento, por ejemplo, clasificando la información por pasillo.
Esta modalidad permite evitar sobrecargas a los medios de comunicaciones, evitando el envío de imágenes de alta resolución ya que solo se comunican para su procesamiento aquellas porciones de las imágenes que contienen la información relevante.
Por otra parte, de acuerdo con una alternativa de la modalidad anterior, la información relevante detectada por el robot es enviada al servidor remoto solo una vez que el robot móvil ha terminado su recorrido, siendo almacenada en el o los medios de almacenamiento del robot mientras el mismo recorre la tienda.
Finalmente, respecto al reconocimiento de la información relevante, es importante destacar que dicho reconocimiento, sea realizado en el mismo robot o en un servidor remoto, comprende la predicción (lectura) de los textos/números/información contenida en la información relevante detectada por el sistema robótico. De acuerdo con una modalidad, el reconocimiento se realiza en tres niveles, a saber, reconocimiento de precios, reconocimiento del código del producto (SAP) y reconocimiento de rótulos de productos (información en el envase del producto). El reconocimiento es realizado por algoritmos de reconocimiento de aprendizaje profundo comprendidos en el sistema de reconocimiento del sistema robótico de la invención, dichos algoritmos especialmente diseñados para cada una de las tareas de reconocimiento. El entrenamiento de estos algoritmos se realiza principalmente empleando el simulador de escenarios que contempla una alternativa de la invención, en donde dicho simulador es capaz de proporcionar una gran cantidad de imágenes sintéticas, del orden de millones de imágenes, que representan distintos escenarios de las estanterías en tiendas. De acuerdo con una modalidad, los parámetros de los algoritmos de reconocimiento son posteriormente refinados usando imágenes reales, del orden de miles, capturadas directamente en la tienda.
Procesamiento almacenamiento v/o envío de información
En esta etapa, ilustrada en la figura 5 como la última etapa del procedimiento, se engloban todas las etapas restantes que permitan obtener información útil para el usuario final del robot.
Como ya se ha aclarado a lo largo de la solicitud, la ilustración tanto de esta etapa como de las otras en el orden indicado no necesariamente representa el orden de ejecución de las etapas, las que en su mayoría son ejecutadas simultáneamente y/o mediante distintas alternativas secuenciales. En particular, el procesamiento, almacenamiento y/o envío de la información es ejecutada en distintas alternativas, toda vez que dichas acciones participan en todo el procedimiento de monitoreo efectuado por el sistema robótico de la invención.
Por ejemplo, el reconocimiento de la información relevante en la etapa identificada como detección y/o reconocimiento comprende procesamiento posterior de la información reconocida para filtrar, consolidar y enviar la información. En este ejemplo, la información reconocida es filtrada en tres etapas, descartando la información reconocida de baja confianza, corrigiendo la información reconocida en base a información redundante (información contenida en más de una imagen), y consolidando la información reconocida proveniente de más de una imagen capturada en un único resultado.
Luego, de acuerdo con una modalidad, la información consolidada con el reconocimiento de la información relevante es integrada con la estimación del planograma de los productos en la estantería, que es construido en el robot o en el servidor remoto mediante la información proveniente de los sensores de captura (imágenes y profundidad). Con esta información integrada el sistema robótico de la invención, ya sea mediante las unidades de procesamiento del robot o en el servidor, es capaz de determinar stock de productos en estanterías, así como también el estado y área de exposición de los productos, realizando el monitoreo del estado de estantería objeto de la invención.
Además, la invención contempla el proceso de comparación de la información reconocida con las bases de datos del usuario final, permitiendo verificar el estado operacional de las estanterías en relación con las diferencias de precios etiquetados con los precios en lista, la distribución espacial de los productos en función de la asignación a cada proveedor (planograma), etc. Con ello, el sistema robótico de la invención, ya sea mediante la o las unidades de procesamiento en el robot o mediante el servidor, genera reportes y/o alarmas a él o los usuarios finales sobre la diferencia entre precios, reposición de productos y/o disponibilidad de producto que permiten a el o los usuarios finales tomar las acciones necesarias frente a un estado determinado, por ejemplo, corregir etiquetas de productos y/o reponer stock. Entre los usuarios finales principales de la invención se encuentran los usuarios asociados a la tienda donde se realiza el recorrido del robot y a los usuarios asociados a los proveedores de los productos moni toreados.
Finalmente, como se ha adelantado anteriormente, la figura 6 muestra un esquema representativo de un subsistema o comportamiento de seguimiento de estanterías comprendido por el sistema de navegación autónoma de la invención. En donde dicho subsistema de seguimiento de estanterías está configurado para determinar el plano principal de la estantería de la tienda integrando la información de al menos un sensor de distancia o profundidad o proximidad y de al menos un sensor de imagen, guiando al robot en forma paralela al plano principal de la estantería. El subsistema de seguimiento de estanterías ejemplificado en la figura 6 utiliza la información de profundidad para estimar el plano principal de la estantería y controlar la navegación de acuerdo a lo siguiente.
Se procesa la información de profundidad de estanterías en las imágenes capturadas, dicha información de profundidad es empleada para dividir la estantería in distintas zonas, desde las cuales se realiza una estimación de profundidad mínima en zonas seleccionadas. Las zonas más cercanas definen el plano principal de la estantería. Luego, se consolidan los datos de profundidad mínima y, con ello, se genera el plano principal de la estantería, con lo cual es posible calcular tanto una distancia entre el robot y el plano principal de la estantería como la orientación del robot respecto a dicho plano principal. Esta información es empleada por medios de control retroalimentado de velocidad angular, integrados en el sistema de navegación, que permiten accionar los medios de desplazamiento y dirección para dirigir al robot a requerimiento, en este caso, realizando un seguimiento paralelo al plano principal de la estantería.
Adicionalmente, información sobre la localización del robot en la tienda, obtenida automáticamente por el robot a partir del sistema de localización del robot a partir de técnicas conocidas como SLAM y/o al identificar los pasillos de la tienda por procesamiento de imágenes, junto con información asociada a la velocidad del robot durante la captura de imágenes y su desplazamiento, usualmente definida como un parámetro, el sistema de navegación del robot es capaz de controlar su velocidad lineal y sincronizar dicha velocidad con la captura de imágenes, información que también es empleada por el control retroalimentado de velocidad angular para accionar los medios de desplazamiento y dirección en forma adecuada, en este caso, haciendo seguimiento paralelo al plano principal de la estantería y asegurando distancia y orientación adecuadas para mejorar la captura de imágenes.

Claims

REIVINDICACIONE S
1. Un sistema robótico autónomo, para el monitoreo automático del estado de estanterías en tiendas, caracterizado porque comprende:
- un robot móvil formado por un cuerpo que comprende:
- una base móvil que comprende un sistema motriz conectado a medios de desplazamiento y dirección;
- una estructura superior dispuesta para alojar sensores, al menos una unidad de procesamiento y medios de comunicaciones, en donde dichos sensores comprenden:
- al menos un sensor láser;
- al menos un sensor de distancia o profundidad o proximidad; y
- al menos un sensor de imagen;
en donde la unidad de procesamiento comprende al menos un medio de almacenamiento y al menos un procesador;
- un sistema de navegación en comunicación con al menos un sensor láser, con al menos un sensor de imagen, con al menos un sensor de distancia o proximidad y con al menos un procesador, en donde:
el sensor láser está dispuesto para medir el entorno del robot, capturando información de la planimetría de la tienda, en donde dicha información de la planimetría es procesada por el sistema de navegación, que construye un mapa de la configuración espacial de la tienda y acciona los medios de desplazamiento y dirección guiando al robot para navegar por los pasillos de la tienda; y el sensor de imagen y el sensor de proximidad están dispuestos para visualizar y medir el entorno del robot, capturando información de visualización y distancia, en donde dicha información de visualización y distancia es procesada por el sistema de navegación, el cual genera rutas de navegación dinámicas que se adaptan a obstáculos presentes en el entorno del robot;
- un sistema de reconocimiento en comunicación con al menos un sensor de imagen, con al menos un sensor de distancia o proximidad, con al menos una unidad de procesamiento y con los medios de comunicaciones, en donde:
el sistema de reconocimiento comprende algoritmos de detección y reconocimiento de aprendizaje profundo, para la detección y el reconocimiento de información relevante presente en distintas áreas de las estanterías de la tienda; el sensor de imagen está dispuesto para capturar imágenes de las distintas áreas de las estanterías de la tienda y el sensor de distancia o proximidad está dispuesto para determinar la distancia entre el robot y un plano principal de la estantería y/o un plano principal de cada información relevante presente en las estanterías, en donde dicha información relevante está contenida en las imágenes capturadas, las que son almacenadas en el medio de almacenamiento; y
los algoritmos de detección y reconocimiento están entrenados con ejemplos de escenarios típicos de tiendas, comprendiendo arquitecturas específicas optimizadas para la detección y el reconocimiento de la información relevante presente en las distintas áreas de las estanterías, en donde dicha información relevante comprende letras, números y caracteres comúnmente utilizados en tiendas y productos; y
- un sistema de planeamiento multi objetivo en comunicación con al menos una unidad de procesamiento y con el sistema de navegación, en donde
el sistema de planeamiento multi objetivo comprende una rutina de planificación dinámica de rutas que evalúa la cobertura de todas las áreas de las estanterías de la tienda a monitorear, garantizando una cobertura total de la tienda; y
el sistema de planeamiento multi objetivo se comunica con el sistema de navegación para guiar al robot de acuerdo a la planificación dinámica de la ruta en tiempo real.
2. El sistema robótico autónomo de acuerdo con la reivindicación 1, caracterizado porque el sistema de navegación comprende un subsistema de seguimiento de estanterías, en donde dicho subsistema de seguimiento de estanterías determina el plano principal de la estantería de la tienda integrando la información de al menos un sensor de distancia o proximidad y de al menos un sensor de imagen, guiando al robot en forma paralela al plano principal de la estantería.
3. El sistema robótico autónomo de acuerdo con la reivindicación 2, caracterizado porque el subsistema de seguimiento de estanterías utiliza la transformada de Hough junto con la información de los sensores de imagen y de distancia o proximidad, determinando la dirección normal al plano principal de la estantería y la distancia del mismo con respecto al robot, empleando un sistema de control diferencial que acciona el los medios de desplazamiento y dirección del robot ajustando rotación y distancia del robot respecto al plano principal de la estantería.
4. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque el sistema de planeamiento multi objetivo comprende un subsistema de certificación de calidad y cobertura de las imágenes capturadas, que evalúa la calidad de las imágenes capturadas de acuerdo a requerimientos del sistema de reconocimiento para la detección y reconocimiento de la información relevante, y que evalúa la cobertura total de las distintas áreas de las estanterías de la tienda en el trayecto del robot, determinando si una imagen debe ser capturada nuevamente y re-planificando la ruta si es necesario.
5. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque comprende además un sistema de entrenamiento de los algoritmos de detección y reconocimiento, en donde dicho sistema de entrenamiento puede ser manual, mediante un conjunto de imágenes reales de escenarios usuales en estanterías de tiendas, o automático, mediante un simulador de escenarios usuales de estanterías de tiendas, dicho simulador formado por un conjunto de imágenes sintéticas que simulan el paso del robot por los pasillos de la tienda, teniendo dichas imágenes sintéticas calidad fotográfica.
6. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque el cuerpo del robot comprende una carcasa, dispuesta para proteger en su interior los componentes del robot.
7. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque al menos un sensor de imagen y al menos un sensor de distancia o proximidad están dispuestos en la cara frontal del robot, detectando obstáculos en los pasillos en la dirección de movimiento del robot.
8. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque al menos un sensor de imagen y al menos un sensor de distancia o proximidad están dispuestos en una o ambas de las caras laterales del robot, capturando imágenes de las distintas áreas de las estanterías en dirección hacia los costados derecho y/o izquierdo del robot.
9. El sistema robótico autónomo de acuerdo con la reivindicación 8, caracterizado porque comprende al menos dos sensores de captura, cada sensor de captura formado por la unión de un sensor de imagen con un sensor de distancia o proximidad, en donde dichos sensores de captura se encuentran dispuestos en la estructura superior del robot separados a distintas alturas dentro de la estructura superior, capturando imágenes de toda la altura de las estanterías.
10. El sistema robótico autónomo de acuerdo con la reivindicación 9, caracterizado porque cada sensor de captura está formado por sensores de imagen del tipo RGB-D {Red Creen Blue Depth).
11. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque además comprende una estación de carga para el robot, en la cual baterías en el sistema motriz del robot son suministradas de energía en forma inalámbrica o por cable.
12. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque los medios de comunicaciones comprende un enlace de comunicaciones inalámbrico, para comunicación de información a al menos un servidor ubicado en una posición remota.
13. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque los medios de comunicaciones comprende un enlace de comunicaciones por cable, para comunicación de información a al menos un servidor conectado por cable al robot.
14. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque los medios de comunicaciones generan alarmas y/o reportes respecto al stock de un producto, información relevante incorrecta o faltante, respecto a los rótulos de precios y ofertas en las estanterías, posición incorrecta de un producto en una estantería o en la tienda, y/o conformación del layout y extensión espacial utilizada por cada producto en la estantería.
15. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque el mapa construido por el sistema de navegación autónoma es bidimensional o tridimensional.
16. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque además comprende una interfaz gráfica para la interacción con un usuario, dicha interfaz gráfica estando integrada en el cuerpo del robot o siendo conectable con el mismo a través de los medios de comunicaciones.
17. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque los medios de desplazamiento y dirección comprenden uno o más giróscopos y uno o más acelerómetros.
18. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque las distintas áreas de las estanterías son capturadas en varias imágenes consecutivas, en donde cada información relevante figura en promedio en 3 de las imágenes capturadas.
19. El sistema robótico autónomo de acuerdo con la reivindicación 18, caracterizado porque las imágenes consecutivas son fusionadas por el sistema de reconocimiento que construye una vista panorámica de cada estantería con la información de apariencia o visualización y de profundidad o distancia, en donde dicha vista panorámica es analizada por los algoritmos de detección y reconocimiento para la extracción de la información relevante.
20. El sistema robótico autónomo de acuerdo con la reivindicación 19, caracterizado porque la vista panorámica corresponde al planograma de los productos en cada estantería de la tienda.
21. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque los algoritmos de detección y reconocimiento son ejecutados de acuerdo con alguna de las siguientes alternativas:
en un servidor remoto, una vez que las imágenes capturadas son comunicadas a dicho servidor a través del los medios de comunicaciones;
en la al menos una unidad de procesamiento del robot, detectando y reconociendo la información relevante íntegramente mediante procesamiento en el robot, enviando la información procesada al usuario final; o
parcialmente en el robot, en lo que respecta a la detección de la información relevante, y parcialmente en un servidor remoto, en lo que respecta al reconocimiento de la información relevante, en donde la información relevante detectadas es enviada al servidor a través de los medios de comunicaciones del robot, para su procesamiento en dicho servidor, que luego envía la información procesada al robot y/o al usuario final.
22. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque el sistema de navegación determina la posición del robot en la tienda mediante el reconocimiento de las imágenes capturadas y su asociación con la tienda.
23. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque la información relevante detectada y reconocida por el sistema de reconocimiento corresponde a stock de productos, etiquetas y rótulos de productos, incluyendo logos e información impresa en el empaque de los productos, etiquetas y rótulos de precios, incluyendo códigos, identificadores y valores de los productos, carteles temporales o permanentes dispuestos en las estanterías, carteles de pasillos y distribución de productos en las estanterías.
24. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque el algoritmo de detección y reconocimiento tiene una precisión de al menos 95% y una exhaustividad de al menos 99% en la detección de etiquetas, una precisión de al menos 97% en la detección del código del producto dentro de la etiqueta con el precio, una precisión de al menos 96% en la lectura de precios, una precisión de al menos 95% en la detección de productos y una precisión de al menos 90% en la detección de la disposición de los productos en la estantería.
25. El sistema robótico autónomo de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque la base móvil comprende un conjunto de sensores de estabilidad, por ejemplo del tipo acelerómetros y/o giróscopos, destinados al control del movimiento del robot para mantener su estabilidad
26. Un método para el monitoreo automático del estado de estanterías en tiendas mediante un sistema robótico de acuerdo con cualquiera de las reivindicaciones 1 a 25, caracterizado porque comprende:
iniciar un recorrido en una tienda, para el monitoreo del estado de estanterías;
navegar autónomamente por los pasillos de la tienda, en donde dicha navegación está configurada para permitir la cobertura deseada de la tienda utilizando los sistemas de navegación autónoma y de planeamiento multi objetivo para dirigir al robot en tiempo real, incorporando evasión de obstáculos y replaneamiento de ruta en tiempo real;
capturar imágenes mientras se navega por la tienda, obteniendo información relevante de las estanterías de productos que requieren supervisión o monitoreo utilizando el o los sensores de captura del robot y la o las unidades de procesamiento;
detectar y reconocer la información relevante contenida en las imágenes capturadas, empleando algoritmos de detección y reconocimiento de aprendizaje profundo,
procesar la información relevante detectada y reconocida para comunicar la misma, a través de los medios de comunicaciones, a el o los usuarios finales generando reportes y/o alarmas.
27. El método de acuerdo con la reivindicación 26, caracterizado porque la etapa de iniciar el recorrido comprende las siguientes alternativas:
- se ha ingresado un plan de recorrido al robot por parte de un operario, ya sea directamente al robot o en forma remota a través de un servidor y de los medios de comunicaciones del robot; - se ha programado una hora de inicio para recorrido libre del robot por la tienda, con un objetivo específico preestablecido, por ejemplo, cubrir todos los pasillos de la tienda o parte de ellos;
- existe un ciclo de trabajo diario que el robot debe cumplir;
- el robot se ha detenido dejando incompleto el recorrido anterior, o es necesario completar/complementar información faltante del recorrido anterior;
- el robot se ha detenido por un período breve para recargar la fuente de alimentación o baterías u por algún otro motivo, y se reanudará recorrido; y/o
- replanteamiento de ruta producto de la necesidad de recapturar imágenes o cubrir áreas no cubiertas en recorrido anterior.
28. El método de acuerdo con la reivindicación 27, caracterizado porque además comprende el estado del robot antes de iniciar el recorrido, que usualmente es de reposo a la espera del ciclo de operación diario asignado, en donde durante este tiempo de reposo el sistema robótico puede realizar distintas operaciones, como actualización de software, recarga de la fuente de alimentación o baterías, planeamiento de rutinas de trabajo y rutas de navegación.
29. El método de acuerdo con la reivindicación 26, caracterizado porque la etapa de navegación autónoma comprende un subsistema o comportamiento de seguimiento de estanterías, que determina el plano principal de la estantería de la tienda integrando la información de al menos un sensor de distancia o proximidad y de al menos un sensor de imagen, guiando al robot en forma paralela al plano principal de la estantería.
30. El método de acuerdo con la reivindicación 26, caracterizado porque además comprende verificar si las imágenes capturadas cumplen o no el criterio para la detección y/o el reconocimiento de la información relevante y/o si faltan imágenes para dicha detección y reconocimiento.
31. El método de acuerdo con la reivindicación 26, caracterizado porque la etapa de detectar y reconocer la información relevante comprende que la detección de la información relevante se realice por el robot móvil, es decir, empleando la o las unidades de procesamiento dispuestas en dicho robot en tiempo real, en donde la información relevante detectada es luego enviada a través de los medios de comunicaciones del robot a un servidor remoto para el reconocimiento de la información relevante.
32. El método de acuerdo con la reivindicación 26, caracterizado porque la etapa de procesar la información relevante detectada y reconocida comprende procesamiento posterior de la información reconocida para filtrar, consolidar y enviar la información a él o los usuarios finales, en donde la información reconocida de baja confianza es descartada, la información reconocida es corregidas en base a información redundante, la información reconocida proveniente de más de una imagen capturada es consolidada en un único resultado.
PCT/CL2018/050135 2017-12-28 2018-12-19 Sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas WO2019126888A1 (es)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/958,893 US11535451B2 (en) 2017-12-28 2018-12-19 Autonomous robotic system for automatically monitoring the state of shelves in shops

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CL2017003463A CL2017003463A1 (es) 2017-12-28 2017-12-28 Sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas
CL3463-2017 2017-12-28

Publications (1)

Publication Number Publication Date
WO2019126888A1 true WO2019126888A1 (es) 2019-07-04

Family

ID=67064287

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CL2018/050135 WO2019126888A1 (es) 2017-12-28 2018-12-19 Sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas

Country Status (3)

Country Link
US (1) US11535451B2 (es)
CL (1) CL2017003463A1 (es)
WO (1) WO2019126888A1 (es)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083732A (zh) * 2020-10-28 2020-12-15 中航华东光电（上海）有限公司 一种检测可视线激光的机器人导航方法和导航系统
US11126962B2 (en) * 2020-02-05 2021-09-21 Simbe Robotics, Inc. Method for tracking and maintaining promotional states of slots in inventory structures within a store
CN114494848A (zh) * 2021-12-21 2022-05-13 重庆特斯联智慧科技股份有限公司 一种机器人视距路径确定方法和装置
US11341454B2 (en) 2016-05-19 2022-05-24 Simbe Robotics, Inc. Method for tracking placement of products on shelves in a store

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3776128B1 (en) * 2018-03-26 2024-02-21 Jabil Inc. Apparatus, system, and method of using depth assessment for autonomous robot navigation
US11126961B2 (en) * 2019-07-02 2021-09-21 Walmart Apollo, Llc Methods and systems for generating a planogram at a retail facility
CA3087587A1 (en) 2019-07-24 2021-01-24 Walmart Apollo, Llc Systems and methods for automated association of product information with electronic shelf labels
US11809935B2 (en) * 2019-10-03 2023-11-07 United States Postal Service Dynamically modifying the presentation of an e-label
KR20210081048A (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 운송 로봇 및 그의 작동 방법
WO2021142388A1 (en) * 2020-01-10 2021-07-15 Adroit Worldwide Media, Inc. System and methods for inventory management
US20220230128A1 (en) * 2021-01-15 2022-07-21 Simbe Robotics, Inc. Method for deploying a robotic system to scan inventory within a store
CN114089735A (zh) * 2021-01-29 2022-02-25 北京京东乾石科技有限公司 可移动机器人调整货架位姿的方法和装置
US11842321B1 (en) * 2021-03-17 2023-12-12 Amazon Technologies, Inc. Image-based detection of planogram product spaces
CN113917932B (zh) * 2021-12-10 2022-03-08 季华实验室 基于机器视觉的导航方法、装置、电子设备及存储介质
WO2023235462A1 (en) * 2022-06-03 2023-12-07 Seegrid Corporation System and method for generating complex runtime path networks from incomplete demonstration of trained activities
CN115436964B (zh) * 2022-11-09 2023-03-24 深圳市壹站智汇科技有限公司 物体识别和路径规划方法、搬运车、电子设备及存储介质
CN116812427B (zh) * 2023-08-28 2023-11-14 河北因朵科技有限公司 一种无人库房自动取档与归档控制系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094140A1 (en) * 2007-10-03 2009-04-09 Ncr Corporation Methods and Apparatus for Inventory and Price Information Management
WO2017083424A1 (en) * 2015-11-09 2017-05-18 Simbe Robotics, Inc. Method for tracking stock level within a store
WO2017139443A9 (en) * 2016-02-09 2017-11-30 Cobalt Robotics Inc. Integrated security mobile robot

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373116B2 (en) * 2014-10-24 2019-08-06 Fellow, Inc. Intelligent inventory management and related systems and methods
AT15289U1 (de) * 2016-06-14 2017-05-15 Knapp Ag Kommissioniersystem mit einem Transportroboter zum Unterfahren von Einzelregalen
US10274325B2 (en) * 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
JP6640777B2 (ja) * 2017-03-17 2020-02-05 株式会社東芝 移動制御システム、移動制御装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094140A1 (en) * 2007-10-03 2009-04-09 Ncr Corporation Methods and Apparatus for Inventory and Price Information Management
WO2017083424A1 (en) * 2015-11-09 2017-05-18 Simbe Robotics, Inc. Method for tracking stock level within a store
WO2017139443A9 (en) * 2016-02-09 2017-11-30 Cobalt Robotics Inc. Integrated security mobile robot

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341454B2 (en) 2016-05-19 2022-05-24 Simbe Robotics, Inc. Method for tracking placement of products on shelves in a store
US11126962B2 (en) * 2020-02-05 2021-09-21 Simbe Robotics, Inc. Method for tracking and maintaining promotional states of slots in inventory structures within a store
CN112083732A (zh) * 2020-10-28 2020-12-15 中航华东光电（上海）有限公司 一种检测可视线激光的机器人导航方法和导航系统
CN114494848A (zh) * 2021-12-21 2022-05-13 重庆特斯联智慧科技股份有限公司 一种机器人视距路径确定方法和装置
CN114494848B (zh) * 2021-12-21 2024-04-16 重庆特斯联智慧科技股份有限公司 一种机器人视距路径确定方法和装置

Also Published As

Publication number Publication date
CL2017003463A1 (es) 2019-10-11
US11535451B2 (en) 2022-12-27
US20200339354A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
WO2019126888A1 (es) Sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas
Martin-Martin et al. Jrdb: A dataset and benchmark of egocentric robot visual perception of humans in built environments
US11481999B2 (en) Maintenance work support system and maintenance work support method
CN104718507A (zh) 自主行走装置的行走信息生成装置、方法及程序、以及自主行走装置
CN107807652A (zh) 物流机器人、用于其的方法和控制器及计算机可读介质
CN208255717U (zh) 物流机器人
JP2019513274A (ja) 品物の設置、特定および計数のためのシステムおよび方法
WO2018125939A1 (en) Visual odometry and pairwise alignment for high definition map creation
JP2019530035A (ja) 在庫追跡のための複数のカメラシステム
US20210073570A1 (en) Method of performing simultaneous localization and mapping with respect to a salient object in an image
US11915192B2 (en) Systems, devices, and methods for scanning a shopping space
CN105393284A (zh) 基于人类身体数据的空间雕刻
Kim et al. Symbolic navigation with a generic map
CN113791627B (zh) 一种机器人导航方法、设备、介质和产品
CN112861725A (zh) 一种导航提示方法、装置、电子设备及存储介质
US20230245476A1 (en) Location discovery
Mair et al. A biologically inspired navigation concept based on the landmark-tree map for efficient long-distance robot navigation
CN114897988A (zh) 一种铰链式车辆中的多相机定位方法、装置及设备
KR102163462B1 (ko) 경로 탐사 로봇 및 그를 이용한 매핑 방법
Stelzer et al. Towards efficient and scalable visual homing
Zheng et al. Research on AGV trackless guidance technology based on the global vision
Wei et al. An approach to navigation for the humanoid robot nao in domestic environments
CN110530376A (zh) 机器人定位方法、装置、机器人及存储介质
Chang et al. Distributed sensing units deploying on group unmanned vehicles
Mallot et al. Dual population coding for path planning in graphs with overlapping place representations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18897339

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18897339

Country of ref document: EP

Kind code of ref document: A1