WO2015121809A1 - Equipo portátil para la cosecha selectivacon identificación de frutos por color - Google Patents

Equipo portátil para la cosecha selectivacon identificación de frutos por color Download PDF

Info

Publication number
WO2015121809A1
WO2015121809A1 PCT/IB2015/051032 IB2015051032W WO2015121809A1 WO 2015121809 A1 WO2015121809 A1 WO 2015121809A1 IB 2015051032 W IB2015051032 W IB 2015051032W WO 2015121809 A1 WO2015121809 A1 WO 2015121809A1
Authority
WO
WIPO (PCT)
Prior art keywords
fruit
fruits
pixels
image
branch
Prior art date
Application number
PCT/IB2015/051032
Other languages
English (en)
French (fr)
Inventor
Paula Jimena RAMOS GIRALDO
Carlos Eugenio OLIVEROS TASCÓN
Mauricio GARCÍA NAVARRO
Álvaro GUERRERO AGUIRRE
Juan Rodrigo SANZ URIBE
Original Assignee
Federacion Nacional De Cafeteros De Colombia
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Federacion Nacional De Cafeteros De Colombia filed Critical Federacion Nacional De Cafeteros De Colombia
Priority to MX2016010568A priority Critical patent/MX2016010568A/es
Priority to CR20160370A priority patent/CR20160370A/es
Publication of WO2015121809A1 publication Critical patent/WO2015121809A1/es

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/06—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs of coffee
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Definitions

  • the present invention relates to portable equipment with image processing that detect fruits in various stages of maturation for selective harvesting.
  • CENICAFÉ National Coffee Research Center
  • technologies used for the mechanized and semi-mechanized harvest of coffee and other similar agricultural products have been evaluated, as well as proprietary design technologies, observing that the quality of the Harvesting is not satisfactory to the standards required, mainly due to the high percentage of green fruits in the harvested mass, in general: more than 5%, relative low yield efficiency of ripe fruits, in general more than 5 ripe fruits are left uncollected per tree, losses from the fall of fruits to the ground, in general more than 5% fruits per site, and kilograms of fruits harvested per unit of time (yield - kg / h) less than 12 kilograms per hour, which is similar or less to that observed in traditional manual harvest Velezet al.
  • the actuators that generate the vibrations can also be taken to the plantations through self-propelled vehicles such as those observed in the patents, and WO2008156703A1, in which in addition to causing the detachment of the fruits they immediately capture them, this type of Harvesters must be driven by an experienced operator who moves the vehicle throughout the plantation. They are expensive solutions and serve mainly in countries where the cost of the workforce is very high and additionally the area of the plantations and the type of crop allow the entry of these vehicles.
  • inventions focused on the robotic harvest have been made, where through a set of sensors and actuators it is possible to control with greater precision the detachment of the fruits to be harvested.
  • the inventions found in the state of the art minimum unit of observation of the crop at the level of branch and fruit where the action on the positioning of the actuators and their displacement is controlled.
  • inventions use vision systems, which use two cameras in parallel, in order to generate stereoscopic vision (a system that simulates the human eye by using two cameras to obtain depth in the images which serves to measure the distances at which they are the objects), determine the location of the fruits to be harvested and subsequently through a process activate the robotic arms to release the fruits or fruits that have been identified as harvested, throughout the tree.
  • stereoscopic vision a system that simulates the human eye by using two cameras to obtain depth in the images which serves to measure the distances at which they are the objects
  • determine the location of the fruits to be harvested determine the location of the fruits to be harvested and subsequently through a process activate the robotic arms to release the fruits or fruits that have been identified as harvested, throughout the tree.
  • there is spatial information about the fruits to be harvested and in this way the robotic arms are controlled, responsible for carrying out the detachment.
  • Patents for the inventions that work with this principle are the following: JP7087829, US20040264762A1, US20040264763A1, WO2006063314A2, US20060213167A1, JP2008022737, JP2008206438 (A) and US2010292841A1. All the patents listed above have their harvest systems mounted on self-propelled vehicles whether operated manually or automatically.
  • Some inventions carry out remote control over the actuators (robotic arms) where in the state of the art image acquisition system they have as minimum unit of observation of the crop to the tree for all cases, is the case of the invention US20060150602A1 of July 13, 2006, which has a camera system but the control over the information acquired is carried out directly by the operator.
  • the minimum crop observation unit refers to the portion of the crop that is capable of occupying a complete image of the image acquisition system.
  • the detached fruits are previously identified by a system of image processing which has as a minimum unit of observation of the crop at the level of branch and fruit, different from that reported in the state of the art where the minimum unit of observation of the crop is the tree.
  • the minimum unit of observation of the crop at the branch and fruit level refers in the present invention to the portion of the crop that is capable of occupying a complete image of the image acquisition system. In the case of the invention, the minimum unit of observation is the fruit and the branch.
  • the team performs selective detachments on the glomerulus by activating impactors independently and adjusting the position of the equipment on the branch, that is, the equipment adjusts to different sizes of fruits or glomeruli, a situation that is not described in the prior art. .
  • the image acquisition system is composed of at least one camera; at the time of having a configuration of two cameras, they are not located in a parallel way as they report in the state of the art, but they are located with an angle, additionally they do not perform stereo vision as reported in the state of the art, but they perform activation control over two or more impactors from spatial information and physical referencing. Additionally, the image processing system determines the ripe fruits and the risk of harvesting immature fruits, situation allows the fruits to be selectively detached by activating the actuator that the image processing determines as the closest to said fruit based on certain rules established, aspects not reported in the state of the art.
  • the color space used to detect ripe and green fruits tolerates changes in ambient lighting, which also decreases the requirements in lighting systems and improves fruit detection results.
  • FIG. 1 Corresponds to an isometric view of the portable equipment of the present invention in which the lighting system, the image acquisition system, detachment mechanism and control system are displayed.
  • FIG. 2 Corresponds to an isometric view of the impactor with an increase in the same for the display of the sheet arrangement, and arrangement of the sheet, ring and the display of the geometry of the sheets.
  • FIG. 3 Corresponds to an isometric view of an embodiment of the invention with three impactors.
  • FIG. 4. Corresponds to an isometric view in which the reception mechanism connected to the detachment mechanism is displayed.
  • FIG. 5 Corresponds to the areas of interest defined by the spatial relationship of the rectangular parallelogram formed by points (A, B) and (A + 3C, B + 4D)
  • the present invention discloses a portable equipment for selective harvesting and a method for identifying fruits and selective harvesting of coffee fruits or other fruits made by portable equipment, which can be operated manually or automatically.
  • the team identifies and detaches the ripe fruits found in the branch and disposes them in a container to later be taken to the beneficiary to process them.
  • the present invention has an image processing system for the selective harvest of coffee fruits or similar products, having as a minimum unit of observation of the crop at the branch and fruit level, in one embodiment of the invention selectively extracts ripe fruits from a branch at the rate of 10 fruits per second, With this relationship it is able to collect between 6 and 60 kilograms of coffee fruits per hour, depending directly on the supply of fruits on the branch.
  • the present invention in its modalities allows the identification of the fruits in a branch by degree of maturity (immature, and mature) and the selective collection of these fruits for the agro-industrial process, and performs the detachment correctly in 84% of the cases, which makes it faster and more efficient in relation to the state of the art, regardless of the supply of fruits in a tree and the topographic conditions of the lot or plot. Trees harvested with the equipment of the present invention end up with a percentage lower than 16% of ripe fruits on the branches and the fruits that must continue their ripening or development process on the tree.
  • the present invention discloses a portable equipment for the selective harvest of fruits and a method for identification of fruits and selective harvest of coffee fruits or other fruits made by the portable equipment.
  • the equipment of the invention corresponds to a portable equipment for selective harvesting of fruits on a branch comprising: - an image acquisition system (1),
  • the dimensions of the equipment are defined so that it passes through the branches of the trees and can be carried by an operator, for which the portable equipment for selective harvesting is characterized in that the image acquisition system, the system of Image processing, fruit shedding mechanism, and the control system are confined in the same physical space, which occupies a volumetric cube-shaped space, which has the following dimensions:
  • the image acquisition system (1) comprises an image sensor, operationally arranged with the wide-angle lens and the detachment mechanism (2) so that the minimum crop observation unit is level of branch and fruit this refers to the portion of the crop that is capable of occupying a complete image of the image acquisition system (1) is of branches and fruits.
  • the image acquisition system (1) is located at a distance from the detachment mechanism (2), which allows the image acquisition system (1) to acquire a series of images of the fruit in which branches, fruits are found and part of the silhouette of the detachment mechanism (2) is captured, especially the silhouette of the impactor (11) of the detachment mechanism (2).
  • the image acquisition system (1) is located in such a way that it forms an angle between 0 or 180 °, between the lens and the central axis of the branch that contains the fruits.
  • the image acquisition system (1) is operationally arranged with the wide angle lens and detachment mechanism (2) so that the minimum observation unit is the glomerulus, such that A complete glomerulus occupies an image of the vision system.
  • the image acquisition system (1) is located between 30mm and 75mm, preferably 50mm, of the detachment mechanism (2), with an inclination between 0 or 180 °, preferably an inclination of 18 °, with respect to the central axis of the branch that contains the fruits.
  • the image sensor of the acquisition system (1) is of the CMOS type, in the visible and infrared light spectrum. The image acquired in this embodiment of the invention corresponds to an area on the branch 15 cm wide by approximately 10 cm in length, an area in which information from the impactor (11) is acquired.
  • the image acquisition system (1) comprises two CMOS image sensors and two wide angle lenses. One lens for each CMOS type image sensor.
  • the image acquisition system (1) is located between 30 mm and 70 mm from the motor shaft (10).
  • the portable equipment has a lighting system (3) that illuminates the branch and the fruits of the branch, and operationally arranged with it an image acquisition system (1) .
  • the lighting system (3) preferably comprises high brightness LEDs.
  • the image processing system is connected to the image acquisition system (1), which generates a fruit shedding signal, by comparing the images processed against two threshold values, where one indicates the presence of ripe fruits and another that indicates the risk of shedding immature fruits.
  • the image processing system comprises a storage memory and an image processor that generates an activation order to the control system.
  • the detachment mechanism (2) detaches a fruit from the branch by means of a detachment signal from the control system (4) according to an activation order provided by the acquisition system of images (1).
  • the detachment mechanism (2) comprises:
  • the mechanism of detachment of fruits achieves, through the impactor (11), quickly and efficiently detach the fruits that are identified as mature by the image processing system.
  • the detachment mechanism (2) by means of the impactor (11) releases the fruit in a movement that describes an evolving function according to the silhouette of the fruit.
  • the braking system allows to stop the movement of the impactor (11) instantaneously, this avoids unwanted detachments generated by the inertia mechanism of detachment (2) on the glomerulus or fruit.
  • the detachment mechanism (2) of fruits of the equipment comprises a plurality of impactors (11) supported on the support structure of the detachment mechanism (2).
  • the motor (10) is a 5 W direct current motor reducer with 1,000 rpm; and it has an electronic braking system that corresponds to an active brake that the operating gear reducer takes out.
  • the motor reducer has an electromagnetic positioner for the purpose.
  • the impactor (11) of the detachment mechanism (2) comprises an arrangement of sheets (5) with protruding shapes according to the silhouette of a fruit or glomerulus, positioned parallel along the length of the motor shaft (10) of the detachment mechanism (2) and this arrangement allows to release fruits due to combined tensile, flex and shear stresses on the peduncle fruit system.
  • the shape of the plate arrangement (5) of the impactor (11), allows the efforts generated in the impact to be distributed on the epicarp of the fruits in contact, and tensile and flexural stresses are generated on the peduncle fruit system, of this The mechanical damage is not generated in the fruit, and a high grip of the fruits to be detached is provided.
  • the arrangement of sheets (5), the sheets (6) are separated by rings (7).
  • the number of sheets (6) of the sheet arrangement (5) changes from the average size of the fruit or glomerulus to be harvested and can be modified and adapted to different crops.
  • the sheets (6) of the sheet arrangement (5) of the impactor (11) have a sheet thickness (6) between 2mm to 4mm and a sheet diameter (6) between 50mm and 100 mm;
  • the array of sheets (5) is made up of four sheets (6).
  • Each sheet (6) has a thickness of 3 mm and a diameter of sheet (6) varying between 65 mm and 70 mm.
  • the impactor (11) is formed by sheets (6) made of rubber.
  • the sheets (6) have a thickness of 3mm and sheet diameters (6) varying between 65mm, 70mm and 75mm (17).
  • the impactor (11) is made up of nine sheets (6) arranged side by side and separated by rings (7).
  • the detachment mechanism (2) is formed by three impactors (11). Each impactor (11) has its corresponding motor (10).
  • the motors (10) are assembled to a structure formed by two arms (8) joined by an actuator (9). At least one of the arms (8) pivots with respect to the actuator (9).
  • the pivot allowed with respect to the actuator (9), allows the detachment mechanism (2) to adjust to the dimensions of a glomerulus.
  • the pivot allows the arms (8) to form opening angles ⁇ minimum of 56.73 ° and maximum of 110.65 °.
  • the detachment mechanism (2) is made up of three impactors (11).
  • Each impactor (11) has its corresponding motor (10).
  • the motors (10) are assembled to a structure formed by two arms (8) joined by an actuator (9). At least one of the arms (8) pivots with respect to the actuator (9). The pivot allowed with respect to the actuator (9), allows the detachment mechanism (2) to adjust to the dimensions of a glomerulus.
  • the impactors (11) describe a triangle with 120 ° vertices, this position allows the three impactors (11) to have 360 ° coverage on the glomerulus.
  • the motors (10) of the impactors (11) have independent movements.
  • the pivoting of the arms (8) can be manual, operated by the operator of the portable equipment or by means of an actuator (9) and automatically.
  • the reception mechanism connected to the detachment mechanism (2).
  • the receiving mechanism comprises a container (12) and a conduit (13) connected to the container (12).
  • the conduit (13) is flexible.
  • the duct (13) transport the detached fruits by the detachment mechanism (2) to the container (12).
  • the portable equipment has a control system (4) that controls the detachment mechanism, the image processing system, and the image acquisition system.
  • the control system (4) comprises an operation mode selector (15) of the detachment mechanism (2) with the manual operation and automatic operation modes. If the manual mode is selected, a button (16) is available to manually activate the impactor (11). In case of selecting the automatic mode, the control system (4) according to an activation order provided by the image processing system, causes the fruit release mechanism (2) to detach a fruit from the branch.
  • the information on the status of the collection of the equipment such as the number of ripe fruits harvested, collection times, among others, is stored in a memory located in the control system (4).
  • the release mechanism (2) based on three impactors (11) has a selector (15) to select the manual or automatic mode of operation, in case of selecting the manual mode, there is a set of three buttons (16) to manually activate each of the motors (10).
  • the portable equipment has a set of inertial sensors called servo-vision system.
  • the servo-vision system allows to obtain Acceleration, speed, incline and displacement readings.
  • the servo vision system comprises inertial sensors such as an accelerometer, a gyroscope, a magnetometer; a georeferencing sensor, all of them connected to the equipment control system.
  • the servo-vision system synchronizes, that is, temporarily adjusts the image processing system and the detachment mechanism (2) estimating movements of the detachment mechanism (2), such that the detachment mechanism (2) knocks down exactly the fruit, according to the detachment signal generated by the image processing system.
  • the servo vision system feeds back to the control system (4), and determines the spatial relationship of the equipment position in the branch and determines the areas of interest in the images that will be processed by the image processing system.
  • the equipment has a power supply system to the equipment.
  • the power is supplied with batteries or photovoltaic cells that generate 36 VDC.
  • the batteries or photovoltaic cells are transported in an additional system either in the machine that moves through the lot or by the operator.
  • the dimensions of the equipment are defined so that it passes through the branches of the trees and can be carried by an operator, for which the portable equipment for selective harvesting is characterized in that the image acquisition system, the system of Image processing, fruit shedding mechanism, and the control system are confined in the same physical space.
  • the movement of the branch must be restricted through the subjection of the distal part of the same, that is to say the system or the operator restricts the movement holding the free end of the branch.
  • the method for the identification of fruits and selective harvesting includes the stages of:
  • (j) generates an activation order and detach the fruit depending on the following rules. If the percentage of mature pixels is greater than the risk threshold value of releasing an immature fruit "N” and the risk of harvesting immature fruits is less than the threshold value of risk of releasing an immature fruit "N”, an order of activation and the fruit is detached automatically; and, if the percentage of mature pixels is greater than the risk threshold value of releasing an immature fruit "N” and if the percentage of immature fruit pixels in the area of interest exceeds the risk threshold value of releasing an immature fruit " N "no activation order is generated and the ripe fruit does not come off automatically but manually.
  • the method for the identification of fruits and selective harvest of the present invention allows the identification of the fruits on a branch by degree of maturity, by means of a perceptual color space LUX mod based on non-linear relationships of the RGB color space, of In this way the invention identifies immature fruits to those whose hue is green and ripe fruits to those whose hue is red, tolerating changes in ambient lighting.
  • Immature fruits correspond to fruits that have not been developed physiologically and are not yet suitable for harvesting; on the contrary, ripe fruits are suitable for harvesting, since they are fully developed physiologically
  • images of the fruits on the branch must be acquired and said images stored in a memory, the images are preprocessed with a filtrate for noise reduction and image improvement.
  • VLUX-Modified corresponds to a new variable created for the present invention that manages to determine green coloration in the image, with tolerance to changes in illumination.
  • the other variables correspond to L: luminosity and UX: chromaticity of red and blue respectively according to the article article by M. Lievin and F. Luthon. 2004.
  • Titled Nonlinear color space and spatiotemporal MRF forhierarchicalsegmentation of facefeatures in video where a color space is developed under a logarithmic model of the Hue variable of the HSI color space (Hue Saturation Intensity - non-linear transformation of RGB color space), the color space created by M. Lievin and F. Luthon.
  • LUX LogarithmichUeeXtension
  • L corresponds to the amount of light in the scene or luminosity and is similar to other variables of luminosity such as Y of the YCrCb color space, this variable is sensitive to light changes due to its nature;
  • U and X are chromaticity variables that deliver information of red and blue tones respectively, also show a better contrast in tone detection in relation to other chromaticity variables such as CrCb of the YCrCb color space.
  • variable VLUX-modified was created in a similar way to the expressions U and X, but considering as the main variable the component G of the RGB color space, this variable like U and X shows tolerance to light changes and provides greater contrast In the green tones.
  • the constant M included in the expressions of U, X and VLUX-modified, increases the dynamic range of the variables to a maximum value that can be expressed in 2 n_1 bits.
  • the detection of ripe fruits is done through the thresholding of the variable U, causing the pixels of an output binary image to take digital values of "1" for normalized values of U between 0.53 and 1; in the case of eight-bit processors, the input U values between values from 135 to 255.
  • the detection of immature fruits is carried out through the variable V LUX-mod, causing the pixels of an output binary image to take digital values of "1" for normalized values of V LUX-mod between 0.53 and 1; in the case of eight-bit processors, V values LUX-mod input between 135 to 255.
  • the pixels of ripe and immature fruits are counted and the detection of the areas of interest, according to the position of impactors on the branch that contains the fruits indicated by the image.
  • the spatial location of the fruits in the acquired images depends on the inclination and distance of the camera in relation to the actuators, additionally the resolution of the image can change the values of the location of the fruits as it increases or decreases the number of pixels and As such the location in space given by the coordinates (x, y) of the pixels corresponding to fruits and impactors change in the image given this situation it is important to determine areas of interest:
  • a and B corresponds to the initial point of the area of interest of the image
  • B and C correspond to the size of the sections that are extracted from the areas of interest and which will subsequently be used to determine the risk threshold value of detaching an immature fruit.
  • the first way is for the operator to manually and according to his criteria determine the points (A, B) and (A + 3C, B + 4D) on the image acquisition system.
  • the C and D values that correspond to the size in pixels of the sections of the area are determined by the operator respectively, also the myp values are determined by the operator corresponds to the number of columns and rows, respectively, in the area of interest :
  • the third way to determine points A, B, C and D is by means of a servo-vision system, which by measuring the position of the tool determines the effective area of the glomerulus near the actuator and determines points A, B, mC, pD.
  • the servo vision system detects the inclination of the tool and depending on that inclination the values of (A + mC, B + pD) change, if the inclination of the tool is towards the glomerulus the values (A + mC, B + pD) increase n pixels per degree of inclination, and if the tool tilts out of the glomerulus the values (A + mC, B + pD) decrease n pixels per degree of inclination.
  • the value of n depends on the resolution of the camera and distance between the camera and the actuator and the value of n is set by the operator.
  • a risk threshold value of releasing an immature fruit "N” is determined as a percentage of the total pixels of the area of interest section. Subsequently, the risk of releasing an immature fruit is determined by comparing the percentage of pixels of immature fruits in the section of the area of interest with the threshold value of risk of releasing an immature fruit "N” and generates an activation order to detach the ripe fruit depending on the following rules: If the percentage of mature pixels is greater than the risk threshold value of releasing an immature fruit "N” and the risk of harvesting immature fruits is less than the threshold value of risk of releasing an immature fruit "N", an order of activation and the fruit is detached automatically; If the percentage of mature pixels is greater than the risk threshold value of releasing an immature fruit "N” and the percentage of immature fruit pixels in the area of interest exceeds the threshold value of risk of releasing an immature fruit "N” No Activation order is generated and the ripe fruit does not

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Harvesting Machines For Specific Crops (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Abstract

La presente invención corresponde a un equipo portátil para la cosecha selectiva y un método para identificación de frutos y cosecha selectiva de frutos de café u otros frutos, el equipo portátil para la cosecha selectiva de frutos en una rama que comprende: un sistema de adquisición de imágenes (1), un sistema de procesamiento de imágenes, un mecanismo de desprendimiento (2), un sistema de control, un mecanismo de recepción, y, un sistema de alimentación de energía al equipo, el equipo también posee un sistema de servo-visión. El método para la identificación de frutos por color y cosecha selectiva que comprende las etapas de (a) adquirir imágenes de los frutos en la rama; (b) almacenarlas imágenes en una memoria; (c) preprocesar las imágenes con un filtrado para reducción de ruido y mejora de la imágenes; (d) convertir en las imágenes el color de RGB a espacio de color LUX mod; (e) umbralizar las variables U, y VLUX-modificado del espacio de color LUX mod obteniendo una imagen binaria y detectar los píxeles de frutos maduros e inmaduros; (f) contar los píxeles de frutos maduros e inmaduros; (g) detectar las zonas de interés, conforme a la posición sobre la rama que contiene los frutos indicada por la imagen; (h) determinar un valor de umbral de riesgo de desprender un fruto inmaduro "N" como un porcentaje de la totalidad de la sección de la zona de interés. (i) determinar el riesgo de desprender un fruto inmaduro comparando el porcentaje de píxeles de frutos inmaduros de la sección de la zona de interés con el valor de umbral de riesgo de desprender un fruto inmaduro "N" (j) genera una orden de activación y desprender el fruto dependiendo de reglas para la activación para desprender fruto.

Description

EQUIPO PORTÁTIL PARA LA COSECHA SELECTIVACON
IDENTIFICACIÓN DE FRUTOS POR COLOR
Campo de la invención: La presente invención se refiere a equipos portátiles con procesamiento de imagen que detectan frutos en diversos estados de maduración para realizar cosecha selectiva.
Descripción del estado del arte: La cosecha de productos agrícolas es una etapa delicada y costosa en los procesos agroindustriales, pues se debe garantizar que la materia prima sea recolectada oportunamente, que sea homogénea y que cumpla con los estándares de calidad requeridos, lo cual en muchos casos hace necesario la cosecha selectiva. Aunque la cosecha de gran parte de los productos agrícolas se realiza en forma manual, en algunos cultivos para aumentar la eficiencia de la mano de obra y reducir los costos se ha desarrollado e implementado la cosecha mecanizada, principalmente para aquellos que pueden ser recolectados de forma masiva, donde las máquinas recolectan todo el producto de las parcelas o lotes y posteriormente se realiza una depuración de la materia prima en caso de ser necesario.
En el caso del café y de productos similares, la recolección se realiza principalmente en forma manual. Se denomina la cosecha selectiva cuando se cosecha el fruto en el momento del período de maduración del fruto. En Colombia se realiza cosecha selectiva y en algunos países como en el Brasil se realiza cosecha no selectiva es decir que se cosechan granos verdes y pintones. La cosecha mecanizada de café se realiza solamente en algunas regiones de Brasil, Estados Unidos (Hawai) y en Australia desprendiendo la mayor parte de los frutos presentes de manera no selectiva y realizando un repase manual de los pocos frutos que quedan en los árboles. En CENICAFÉ (Centro Nacional de Investigaciones en Café) se han evaluado tecnologías utilizadas para la cosecha mecanizada y semi-mecanizada de café y de otros productos agrícolas similares, lo mismo que tecnologías de diseño propio, observando que la calidad de la recolección no es satisfactoria para los estándares exigidos, principalmente por el alto porcentaje de frutos verdes en la masa recolectada, en general: más del 5%, relativa baja eficacia de desprendimiento de frutos maduros, en general se deja más de 5 frutos maduros sin recolectar por árbol, pérdidas por la caída de frutos al suelo, en general más de 5% frutos por sitio, y kilogramos de frutos cosechados por unidad de tiempo (rendimiento - kg/h) inferior a 12 kilogramos por hora, que es similar o inferior al observado en cosecha manual tradicional Velezet al. 1999, Estudio de tiempos y movimientos para el mejoramiento de la cosecha manual del café, CENICAFÉ). Estos resultados son atribuidos a varios factores, entre los que se destacan el alto número de floraciones (más de 12/año) que dan origen a múltiples pases de recolección en el año, con baja carga y porcentaje de frutos maduros en cada uno, inclusive en épocas de mayor flujo de cosecha. Las altas densidades de siembra utilizadas en algunas áreas geográficas, al igual que las pendientes de los terrenos, la alta flexibilidad de la estructura del árbol y la presencia de lluvias en la época de cosecha son otros factores importantes que afectan el desempeño de equipos para la recolección de café en Colombia.
El estado del arte divulga invenciones que cosechan los productos, por medio de la aplicación de vibraciones a los árboles, follaje y ramas. En algunos equipos es posible que los actuadores que generen la vibración se puedan llevar de forma portátil a las plantaciones o cultivos por un operario, el cual toma la decisión sobre los sectores del árbol que debe vibrar, sin lograr desprendimientos selectivos en la mayoría de ellos. Patentes que divulgan invenciones relacionadas con esta forma de recolección son las siguientes: US4538405, EP0938839A1, WO0108466A1, EP1116432, y WO2004047517A1.
Los actuadores que generan las vibraciones también es posible llevarlos a las plantaciones a través de vehículos autopropulsados como los observados en las patentes, y WO2008156703A1, en las cuales además de causar el desprendimiento de los frutos realizan inmediatamente la captura de los mismos, este tipo de cosechadoras deben ser conducidas por un operario experimentado el cual desplaza el vehículo a lo largo de la plantación. Son soluciones costosas y sirven principalmente en países donde el costo de la mano de obra es muy elevado y adicionalmente el área de las plantaciones y el tipo de cultivo permiten la entrada de estos vehículos.
Buscando mejorar la precisión en las labores de cosecha se han realizado invenciones enfocadas a la cosecha robotizada, donde a través de un conjunto de sensores y actuadores es posible controlar con mayor precisión el desprendimiento de los frutos a cosechar. Las invenciones encontradas en el estado de la técnica unidad mínima de observación del cultivo a nivel de rama y fruto donde se controla la acción sobre el posicionamiento de los actuadores y el desplazamiento de los mismos. Hay máquinas que usan un sistema de visión con una sola cámara, sensores de distancia y proximidad para obtener información del árbol, posición de los frutos y posteriormente activar un conjunto de brazos robóticos que se encargan de realizar el desprendimiento selectivo, según las características previamente observadas. Este tipo de invenciones se encuentran referenciadas en las siguientes patentes: US4532757, US005426927, US5911669, US006119442, CN101152716A de abril 2 de 2008, JP2009005587A, KR20090016640A, US20090258684A1 y WO2010043740 (Al).
Otras invenciones usan sistemas de visión, que usan dos cámaras en paralelo, con el fin de generar visión estereoscópica (sistema que simula al ojo humano al utilizar dos cámaras para obtener profundidad en las imágenes la cual sirve para medir las distancias a las que se encuentran los objetos), determinar la localización de los frutos a cosechar y posteriormente a través de un procesamiento activar los brazos robóticos para desprender los frutos o frutas que han sido identificados como cosechables, en todo el árbol. En estas invenciones se tiene información espacial de los frutos a cosechar y de esta manera se controlan los brazos robóticos, encargados de realizar el desprendimiento. Patentes de las invenciones que trabajan con este principio son las siguientes: JP7087829, US20040264762A1, US20040264763A1, WO2006063314A2, US20060213167A1 de, JP2008022737, JP2008206438 (A) y US2010292841A1. Todas las patentes listadas anteriormente tienen sus sistemas de cosecha montados en vehículos autopropulsados ya sean operados de forma manual o automática.
Algunas invenciones realizan control remoto sobre los actuadores (brazos robóticos) donde en los sistema de adquisición de imágenes del estado de la técnica tienen por unidad mínima de observación del cultivo a el árbol para todos los casos, es el caso de la invención US20060150602A1 de julio 13 de 2006, la cual tiene un sistema de cámaras pero el control sobre la información adquirida la realiza directamente el operario. La unidad mínima de observación del cultivo se refiere a la porción del cultivo que es capaz de ocupar una imagen completa del sistema de adquisición de imágenes.
Con el fin de tener una solución al problema de escasez y costo de mano de obra para recolección, particularmente en Colombia se han desarrollado numerosos estudios de equipos portátiles para cosechar café, los equipos diseñados por CENICAFÉ generan esfuerzos de tensión y torsión sobre los frutos de café de diferentes formas pero no usan sensores para retroalimentar el proceso de cosecha y lograr identificar los frutos cosechables. Las patentes que describen estos equipos que actúan a nivel de glomérulo y rama son: CO5400120A1 de mayo 31 de 2004, CO5400119A1 de mayo 31 de 2004 y CO5271730A1 de abril 30 de 2003, sin embargo estos equipos no cuentan con sistemas para determinar los frutos que deben ser cosechados.
El anterior estado del arte muestra que con respecto al desprendimiento selectivo con unidad mínima de observación del cultivo a nivel de rama y fruto o glomérulo no se encuentran patentes similares a la que se describe en este documento. Por lo tanto, existe la necesidad de un equipo con características portátiles que pueda ser llevado por un operario o una máquina autopropulsada y que tenga un sistema de control de cámaras y sistema de desprendimiento con impactadores operando a nivel de rama y glomérulo. La invención presentada en este documento, a diferencia de lo encontrado en el estado de la técnica, describe un equipo portátil para la identificación y cosecha selectiva de los frutos presentes en los glomérulos de las ramas, que cuenta con un sistema mecánico que logra desprendimientos selectivos, no a partir de vibraciones o brazos robotizados que cortan o arrancan los frutos como se menciona en el estado del arte, sino a partir de la generación de esfuerzos combinados, tracción, flexión y cortantes sobre el sistema fruto pedúnculo por medio de impactadores con formas acordes a la silueta de los frutos. Los frutos desprendidos son previamente identificados por un sistema de procesamiento de imágenes el cual tiene como unidad mínima de observación del cultivo a nivel de rama y fruto, diferente a lo reportado en el estado del arte donde la unidad mínima de observación del cultivo es el árbol.
La unidad mínima de observación del cultivo a nivel de rama y fruto se refiere en la presente invención a la porción del cultivo que es capaz de ocupar una imagen completa del sistema de adquisición de imágenes. Para el caso de la invención la unidad mínima de observación es el fruto y la rama.
El equipo realiza desprendimientos selectivos sobre el glomérulo activando impactadores de forma independiente y ajusfando la posición del equipo sobre la rama, es decir, el equipo se ajusta a diferentes tamaños de frutos o glomérulos, situación que no se encuentra descrita en el estado de la técnica.
El sistema de adquisición de imágenes está compuesto por al menos una cámara; al momento de tener una configuración de dos cámaras, no son ubicadas de manera paralela como lo reportan en el estado del arte, sino que son ubicadas con un ángulo, adicionalmente no realizan visión estéreo como se reporta en el estado del arte, sino que realizan el control de activación sobre dos o más impactadores a partir de la información espacial y la referenciación física. Adicionalmente el sistema de procesamiento de imágenes determina los frutos maduros y el riesgo de cosechar frutos inmaduros, situación permite que los frutos sean desprendidos de forma selectiva activando el actuador que el procesamiento de imágenes determine como el más cercano a dicho fruto a partir de ciertas reglas establecidas, aspectos no reportados en el estado de la técnica.
En la presente Invención el espacio de color utilizado para detectar los frutos maduros y verdes tolera los cambios de iluminación ambiente, lo que disminuye también los requerimientos en sistemas de iluminación y mejora los resultados de detección de frutos.
Por lo tanto, existe la necesidad de un equipo con las características técnicas antes mencionadas, que pueda ser llevado por un operario o una máquina autopropulsada con un sistema de desprendimiento con actuadores impactadores a nivel de rama y glomérulo.
Descripción de las Figuras: FIG. 1. Corresponde a una vista isométrica del equipo portátil de la presente invención en el cual se visualizan el sistema de iluminación, el sistema de adquisición de imágenes, mecanismo de desprendimiento y sistema de control.
FIG. 2. Corresponde a una vista isométrica del impactador con un aumento en el mismo para la visualización del arreglo de lámina, y disposición de lámina, anillo y la visualización de la geometría de las láminas.
FIG. 3. Corresponde a una vista isométrica de una modalidad de la invención con tres impactadores.
FIG. 4. Corresponde a una vista isométrica en la cual se visualiza el mecanismo de recepción conectado al mecanismo de desprendimiento.
FIG. 5. Corresponde a las zonas de interés delimitadas por la relación espacial del paralelogramo rectángulo formado por los puntos (A, B) y (A+3C, B+4D)
Breve descripción del invento
El presente invento divulga un equipo portátil para la cosecha selectiva y un método para identificación de frutos y cosecha selectiva de frutos de café u otros frutos realizados por el equipo portátil, que puede ser operado manual o automáticamente. El equipo identifica y desprende los frutos maduros que se encuentran en la rama y los dispone en un recipiente para posteriormente ser llevados al beneficiadero para procesarlos. El presente invento cuenta sistema de procesamiento de imágenes para la cosecha selectiva de frutos de café o productos similares, teniendo como unidad mínima de observación del cultivo a nivel de rama y fruto, en una modalidad de la invención extrae de forma selectiva frutos maduros de una rama a razón de 10 frutos por segundo, con esta relación es capaz de recolectar entre 6 y 60 kilogramos de frutos de café por hora, dependiendo directamente de la oferta de frutos en la rama.
La presente invención en sus modalidades permite la identificación de los frutos en una rama por grado de madurez (inmaduro, y maduro) y la recolección selectiva de estos frutos para el proceso agroindustrial, y realiza el desprendimiento correctamente en el 84% de los casos, lo que lo hace más rápido y eficaz con relación al estado de la técnica, independientemente de la oferta de frutos en un árbol y de las condiciones topográficas del lote o parcela. Los árboles cosechados con el equipo de la presente invención terminan con un porcentaje inferior a 16 % de frutos maduros en las ramas y los frutos que deben continuar su proceso de maduración o desarrollo en el árbol.
Descripción detallada del invento
El presente invento divulga un equipo portátil para la cosecha selectiva de frutos y un método para identificación de frutos y cosecha selectiva de frutos de café u otros frutos realizados por el equipo portátil. Equipo portátil para la cosecha selectiva
El equipo de la invención, corresponde a un equipo portátil para la cosecha selectiva de frutos en una rama que comprende: - un sistema de adquisición de imágenes (1),
- un sistema de procesamiento de imágenes,
- un mecanismo de desprendimiento (2),
- un sistema de control (4),
- un mecanismo de recepción, y,
- un sistema de alimentación de energía al equipo. Las dimensiones del equipo, son definidas para que éste pase a través de las ramas de los árboles y pueda ser llevada por un operario, para lo cual el equipo portátil para la cosecha selectiva está caracterizado porque el sistema de adquisición de imágenes, el sistema de procesamiento de imágenes, mecanismo de desprendimiento de frutos, y el sistema de control se encuentran confinados en mismo espacio físico, que ocupa un espacio volumétrico en forma de cubo, que tiene las siguientes dimensiones:
- de largo entre 162 mm a 256 mm
- ancho entre 119 mm a 196 mm
- altura entre 88 mm a 150 mm
Acorde a la FIG 2, el sistema de adquisición de imágenes (1) comprende un sensor de imagen, operacionalmente dispuesto con la lente gran angular y el mecanismo de desprendimiento (2) de manera que la unidad mínima de observación del cultivo se encuentre a nivel de rama y fruto esto se refiere a que la porción del cultivo que es capaz de ocupar una imagen completa del sistema de adquisición de imágenes (1) es de ramas y frutos.
El sistema de adquisición de imágenes (1) se encuentra ubicado a una distancia del mecanismo de desprendimiento (2), lo cual permite al sistema de adquisición de imágenes (1) adquirir una serie de imágenes del fruto en las que se encuentran ramas, frutos y se captura parte de la silueta del mecanismo de desprendimiento (2), en especial la silueta del impactador (11) del mecanismo de desprendimiento (2).
El sistema de adquisición de imágenes (1) está ubicado de tal manera que forma un ángulo entre 0o y 180°, entre la lente y el eje central de la rama que contiene los frutos.
En una modalidad de la presente invención, el sistema de adquisición de imágenes (1) se encuentra operacionalmente dispuesto con la lente gran angular y el mecanismo de desprendimiento (2) de manera que la unidad mínima de observación es el glomérulo, de tal forma que un glomérulo completo ocupa una imagen del sistema de visión. En una modalidad de la invención, el sistema de adquisición de imágenes (1) es ubicado entre 30mm y 75 mm, preferiblemente a 50 mm, del mecanismo de desprendimiento (2), con una inclinación entre 0o y 180°, preferiblemente una inclinación de 18°, con respecto al eje central de la rama que contiene los frutos. En una modalidad de la invención, el sensor de imagen del sistema de adquisición (1) es del tipo CMOS, en el espectro de luz visible e infrarrojo. La imagen adquirida en esta modalidad de la invención, corresponde a una zona sobre la rama de 15 cm de ancho por 10 cm de longitud aproximadamente, zona en la cual se adquiere información del impactador (11).
En una modalidad de la invención, el sistema de adquisición de imágenes (1) comprende dos sensores de imagen tipo CMOS y dos lentes gran angular. Una lente por cada sensor de imagen tipo CMOS. El sistema de adquisición de imágenes (1) se ubica, entre 30 mm y 70 mm del eje del motor (10).
Acorde a la FIG 1, en una modalidad de la invención, el equipo portátil cuenta con un sistema de iluminación (3) que ilumina la rama y los frutos de la rama, y operacionalmente dispuesto con el un sistema de adquisición de imágenes (1). El sistema de iluminación (3) comprende preferiblemente LEDs de alto brillo.
El sistema de procesamiento de imágenes se conecta al sistema de adquisición de imágenes (1), el cual genera una señal de desprendimiento de fruto, por medio de la comparación de las imágenes procesadas contra dos valores de umbral, en donde uno indica la presencia de frutos maduros y otro que indica el riesgo de desprender frutos inmaduros. En el equipo portátil para la cosecha selectiva, el sistema de procesamiento de imágenes comprende una memoria de almacenamiento y un procesador de imagen que genera una orden de activación al sistema de control.
En el equipo portátil para la cosecha selectiva de frutos de la presente invención el mecanismo de desprendimiento (2) desprende un fruto de la rama mediante una señal de desprendimiento del sistema control (4) según una orden de activación proporcionada por el un sistema de adquisición de imágenes (1). El mecanismo de desprendimiento (2) comprende:
- un motor (10),
- un impactador (11) acoplado al motor (10),
- un posicionador conectado al motor que controla el ángulo de giro del eje motor,
- un sistema de frenado conectado al motor, y
- una estructura soporte a la cual se ensambla el motor.
El mecanismo de desprendimiento de frutos logra, a través del impactador (11), desprender rápida y eficazmente los frutos que son identificados como maduros por el sistema de procesamiento de imágenes.
El mecanismo de desprendimiento (2) mediante el impactador (11) desprende el fruto en un movimiento que describe una función evolvente acorde a la silueta del fruto. El sistema de frenado permite detener el movimiento del impactador (11) de manera instantánea, esto evita desprendimientos no deseados generados por la inercia mecanismo de desprendimiento (2) sobre el glomérulo o fruto.
En una modalidad de la invención el mecanismo de desprendimiento (2) de frutos del equipo comprende una pluralidad de impactadores (11) soportados sobre la estructura de soporte del mecanismo de desprendimiento (2).
En una modalidad de la invención, el motor (10) es un moto-reductor de corriente directa de 5 W y de 1.000 rpm; y cuenta con un sistema de frenado electrónico que corresponde a un freno activo que saca el moto-reductor de funcionamiento. Para esta configuración electrónica se utilizaron dos transistores MOSFET tipo N conectados en paralelo, y un MOSFET tipo P. El moto-reductor cuenta con un posicionador electromagnético con el fin
de instrumentarlos y controlar la orientación al controlar el ángulo de giro del eje del motor (10) para evitar desprendimientos indeseados de frutos. Acorde con la FIG 2, en la presente invención el impactador (11) del mecanismo de desprendimiento (2) comprende un arreglo de láminas (5) con formas sobresalientes acorde a la silueta de un fruto o glomérulo, posicionadas en paralelo a lo largo del eje del motor (10) del mecanismo de desprendimiento (2) y este arreglo permite desprender frutos por efecto de esfuerzos combinados de tracción, flexión y cortantes sobre el sistema fruto pedúnculo.
El arreglo de láminas (5) del impactador (11) se caracteriza porque las formas sobresalientes de la lámina (6) describen la función evolvente como una curva que se obtiene de desenvolver la circunferencia (centrada en el origen del plano cartesiano xy) de radio a, t radianes; definida paramétricamente por x(t ) = a (eos (t ) + t sin (? )) , y (t) = a (sin (í) - r eos (? )) , donde x corresponde al eje de las ordenadas, y al eje de las abscisas, a el radio de la circunferencia y t los radianes que se desenvuelven de la circunferencia desde x = a, y = 0, y t = 0 rad, hasta t = n rad, donde n < π/4. La forma del arreglo de láminas (5) del impactador (11), permiten que los esfuerzos generados en el impacto se distribuyan sobre el epicarpio de los frutos en contacto, y se generan esfuerzos de tracción y flexión sobre el sistema fruto pedúnculo, de esta manera no se genera daño mecánico en el fruto, y se proporciona un alto agarre de los frutos a ser desprendidos.
Acorde a la FIG 2, el arreglo de láminas (5), las láminas (6) son separadas por anillos (7). El número de láminas (6) del arreglo de láminas (5) cambia a partir del tamaño promedio del fruto o glomérulo a cosechar y puede ser modificado y adaptado a diferentes cultivos.
El espacio generado entre las láminas del arreglo de láminas (5) disminuye la inercia del mecanismo de desprendimiento (2) y amplía la visibilidad al un sistema de adquisición de imágenes (1). En una en una modalidad de la invención las láminas (6) del arreglo de láminas (5) del impactador (11) tienen un espesor de lámina (6) de entre 2mm a 4 mm y un diámetro de lámina (6) entre50 mm y 100 mm;
En otra modalidad de la invención, el arreglo de láminas (5) es conformado por cuatro láminas (6). Cada lámina (6) tiene un espesor de 3 mm y un diámetro de lámina (6) variable entre de 65 mm y 70 mm.
En otra modalidad de la invención, el impactador (11) es conformado por láminas (6) fabricadas en caucho. En esta modalidad, las láminas (6) tienen un espesor de 3mm y diámetros de lámina (6) variable entre 65 mm, 70 mm y 75 mm (17). El impactador (11) es conformado por nueve láminas (6) dispuestas una al lado de la otra y separadas por anillos (7).
Acorde con la FIG 3, en una realización de la invención, el mecanismo de desprendimiento (2) es conformado por tres impactadores (11). Cada impactador (11) tiene su correspondiente motor (10). Los motores (10) son ensamblados a una estructura conformada por dos brazos (8) unidos por un actuador (9). Al menos uno de los brazos (8) pivotea con respecto al actuador (9). El pivoteo permitido con respecto al actuador (9), permite que el mecanismo de desprendimiento (2) se ajuste a las dimensiones de un glomérulo. El pivoteo permite a los brazos (8) formar ángulos de apertura α mínimo de 56,73° y máximo de 110,65°.
En otra modalidad de la invención, el mecanismo de desprendimiento (2) es conformado por tres impactadores (11). Cada impactador (11) tiene su correspondiente motor (10). Los motores (10) son ensamblados a una estructura conformada por dos brazos (8) unidos por un actuador (9). Al menos uno de los brazos (8) pivotea con respecto al actuador (9). El pivoteo permitido con respecto al actuador (9), permite que el mecanismo de desprendimiento (2) se ajuste a las dimensiones de un glomérulo. Al pivotear los brazos (8) a fin de acercarlos, los impactadores (11) describan un triángulo con vértices de 120°, esta posición permite que los tres impactadores (11) tengan una cobertura de 360° sobre el glomérulo. Los brazos (8) que conforman la estructura soporte, al ser proyectados en la posición cuando están acercados, describen un círculo. Los motores (10) de los impactadores (11) tienen movimientos independientes. El pivoteo de los brazos (8) puede ser manual, accionado por el operario del equipo portátil o mediante una actuador (9) y de forma automática.
Acorde a la FIG 4, el mecanismo de recepción conectado al mecanismo de desprendimiento (2). El mecanismo de recepción comprende un recipiente (12) y un conducto (13) conectado al recipiente (12). Preferiblemente el conducto (13) es flexible. El conducto (13) transportan los frutos desprendidos por el mecanismo de desprendimiento (2) al recipiente (12). Acorde a la FIG 1, el equipo portátil cuenta con un sistema de control (4) que controla al mecanismo de desprendimiento, el sistema de procesamiento de imágenes, y el sistema de adquisición de imágenes.
El sistema de control (4) comprende un selector (15) de modo de operación del mecanismo de desprendimiento (2) con los modos de operación manual y operación automática. En caso de seleccionar el modo manual, se cuenta con un pulsador (16) para activar manualmente el impactador (11). En caso de seleccionar el modo automático, el sistema de control (4) según una orden de activación proporcionada por el sistema de procesamiento de imágenes, hace que el mecanismo de desprendimiento (2) de frutos desprenda un fruto de la rama.
En una modalidad de la invención, la información del estado de la recolección del equipo tal como número de frutos maduros cosechados, tiempos de recolección, entre otra, es almacenada en una memoria localizada en el sistema de control (4).
En una modalidad de la invención, el mecanismo de desprendimiento (2) basado en tres impactadores (11) cuenta con un selector (15) para seleccionar el modo de operación manual o automático, en caso de seleccionar el modo manual, se cuenta con un conjunto de tres pulsadores (16) para activar manualmente cada uno de los motores (10).
Adicionalmente, el equipo portátil cuenta con un conjunto de sensores inerciales denominado sistema de servo-visión. El sistema de servo-visión permite obtener lecturas de aceleración, velocidad, inclinación y desplazamiento. El sistema de servo- visión comprende sensores inerciales como un acelerómetro, un giróscopo, un magnetómetro; un sensor de georreferenciación, todos ellos conectados al sistema de control del equipo. El sistema de servo-visión sincroniza, es decir, ajusta temporalmente el sistema de procesamiento de imágenes y el mecanismo de desprendimiento (2) estimando movimientos del mecanismo de desprendimiento (2), de tal manera que el mecanismo de desprendimiento (2) derriba exactamente el fruto, según la señal de desprendimiento generada por sistema de procesamiento de imágenes.
El sistema de servo- visión retroalimenta al sistema de control (4), y determina la relación espacial de la posición del equipo en la rama y determinar las zona de interés en las imágenes que serán procesadas por el sistema de procesamiento de imágenes. Finalmente el equipo cuenta con un sistema de alimentación de energía al equipo. En una modalidad de la invención, la alimentación se realiza con baterías o celdas fotovoltaicas que generan 36 VDC. Las baterías o celdas fotovoltaicas son transportadas en un sistema adicional ya sea en la máquina que se desplaza por el lote o por el operario.
Las dimensiones del equipo, son definidas para que éste pase a través de las ramas de los árboles y pueda ser llevada por un operario, para lo cual el equipo portátil para la cosecha selectiva está caracterizado porque el sistema de adquisición de imágenes, el sistema de procesamiento de imágenes, mecanismo de desprendimiento de frutos, y el sistema de control se encuentran confinados en mismo espacio físico.
Durante la operación del equipo portátil en la realización de la cosecha, el movimiento de la rama debe ser restringido a través de la sujeción de la parte distal de la misma, es decir el sistema o el operario restringe el movimiento sujetando el extremo libre de la rama. Método para la identificación de frutos y cosecha selectiva.
El método para la identificación de frutos y cosecha selectiva comprende las etapas de:
(a) adquirir imágenes de los frutos en la rama;
(b) almacenarlas imágenes en una memoria;
(c) preprocesar las imágenes con un filtrado para reducción de ruido y mejora de las imágenes ;
(d) convertir en las imágenes el color de RGB a espacio de color LUX mod;
(e) umbralizar las variables U, y VLUX-modificado del espacio de color LUX- mod obteniendo una imagen binaria y detectar los pixeles de frutos maduros e inmaduros;
(f) contar los pixeles de frutos maduros e inmaduros;
(g) detectar las zonas de interés, conforme a la posición sobre la rama que contiene los frutos indicada por la imagen;
(h) determinar un valor de umbral de riesgo de desprender un fruto inmaduro "N" como un porcentaje de la totalidad de pixeles de la sección de la zona de interés.
(i) determinar el riesgo de desprender un fruto inmaduro comparando el porcentaje de pixeles de frutos inmaduros de la sección de la zona de interés con el valor de umbral de riesgo de desprender un fruto inmaduro "N"
(j) genera una orden de activación y desprender el fruto dependiendo de las siguientes reglas. Si el porcentaje de pixeles maduros es mayor al valor de umbral de riesgo de desprender un fruto inmaduro "N" y el riesgo de cosechar frutos inmaduros es menor que valor de umbral de riesgo de desprender un fruto inmaduro "N" se genera una orden de activación y se desprende el fruto de manera automática; y, si el porcentaje de pixeles maduros es mayor al valor de umbral de riesgo de desprender un fruto inmaduro "N" y si el porcentaje de pixeles de frutos inmaduros de la zona de interés supera valor de umbral de riesgo de desprender un fruto inmaduro "N" no se genera orden de activación y no se desprende el fruto maduro de manera automática sino de forma manual. El método para la identificación de frutos y cosecha selectiva de la presente invención permite la identificación de los frutos en una rama por grado de madurez, por medio de un espacio de color perceptual LUX mod basado en relaciones no lineales del espacio de color RGB, de esta manera la invención identifica frutos inmaduros a aquellos cuya tonalidad es verde y frutos maduros aquellos cuya tonalidad es roja, tolerando cambios en la iluminación ambiente. Los frutos inmaduros corresponden a frutos que no se han desarrollado fisiológicamente y aun no son aptos para ser cosechados, por el contrario los frutos maduros son aptos para ser cosechados, pues se encuentran totalmente desarrollados fisiológicamente
Para la identificación de frutos por color y cosecha selectiva se deben adquirir imágenes de los frutos en la rama y almacenarlas dichas imágenes en una memoria, las imágenes se preprocesan con un filtrado para reducción de ruido y mejora de la imagen.
A las imágenes procesadas se les realiza una siguiente etapa en la que se convierte en las imágenes el color de RGB a espacio de color LUX mod usando una transformada logarítmica desarrollada en artículo de M. Lievin and F. Luthon. 2004. Titulado Nonlinear color space and spatiotemporal MRF for hierarchical segmentation of face features in video. Trans. Img. Proc. 13, 1 (January 2004), 63-71. DOI= 10.1109/TIP.2003.818013 ^^/ S¿lMl II 2 l l
Al convertir en las imágenes el color de RGB a espacio de color LUX mod se cumplen las siguientes relaciones
,,o.s
Figure imgf000018_0001
VLUX-Modificado corresponde a una nueva variable creada para la presente invención que logra determinar coloración verde en la imagen, con tolerancia a los cambios de iluminación. Las demás variables corresponden a L: luminosidad y UX: cromaticidad del rojo y del azul respectivamente según el artículo artículo de M. Lievin and F. Luthon. 2004. Titulado Nonlinear color space and spatiotemporal MRF forhierarchicalsegmentation of facefeatures in video, donde se desarrollan un espacio de color bajo un modelo logarítmico de la variable Hue del espacio de color HSI (Hue Saturation Intensity - transformación no lineal del espacio de color RGB), el espacio de color creado por M. Lievin and F. Luthon. 2004 recibe el nombre de LUX (LogarithmichUeeXtension), donde L corresponde a la cantidad de luz de la escena o luminosidad y es similar a otras variables del luminosidad como Y del espacio de color YCrCb, esta variable es sensible a los cambios de luz por su naturaleza; las variables U y X son variables de cromaticidad que entregan información de tonalidades rojas y azules respectivamente, además muestran un mejor contraste en detección de tonos con relación a otras variables de cromaticidad como CrCb del espacio de color YCrCb.
La variable VLUX-modificado fue creada de manera similar a las expresiones U y X, pero considerando como variable principal la componente G del espacio de color RGB, esta variable al igual que U y X muestra tolerancia a los cambios de luz y provee mayor contraste en las tonalidades verdes. La constante M incluida en las expresiones de U, X y VLUX-modificado, aumentan el rango dinámico de las variables hasta un máximo valor que puede ser expresado en 2n_1 bits.
Mediante la conversión en las imágenes del color de RGB a espacio de color LUX mod se obtiene robustez bajo diferentes condiciones de iluminación, luego de esta conversión se umbralizan las variables U, y VLUX-modificado del espacio de color LUX-mod obteniendo una imagen binaria y se detectan los píxeles de frutos maduros e inmaduros se cuenta el número total de píxeles rojos y píxeles verdes en la imagen y se genera una proporción de frutos maduros e inmaduros presentes en la imagen.
La detección de frutos maduros se realiza a través de la umbralización de la variable U, haciendo que los píxeles de una imagen binaria de salida tomen valores digitales de " 1 " para valores normalizados de U entre 0,53 y 1 ; para el caso de procesadores de ocho bits los valores de U de entrada entre valores de 135 hasta 255. la detección de frutos inmaduros se realiza a través de la variable V LUX-mod, haciendo que los píxeles de una imagen binaria de salida tomen valores digitales de " 1 " para valores normalizados de V LUX-mod entre 0,53 y 1 ; para el caso de procesadores de ocho bits valores V LUX-mod de entrada entre 135 hasta 255. En esta etapa del proceso se procede a Contar los píxeles de frutos maduros e inmaduros y a la detección de las zonas de interés, conforme a la posición de impactadores sobre la rama que contiene los frutos indicados por la imagen.
La ubicación espacial de los frutos en las imágenes adquiridas dependen de la inclinación y distancia de la cámara con relación a los actuadores, adicionalmente la resolución de la imagen puede cambiar los valores de la ubicación de los frutos pues aumenta o disminuye el número de píxeles y como tal la ubicación en el espacio dado por las coordenadas (x,y) de los píxeles correspondientes a frutos e impactadores cambian en la imagen dada esta situación es importante determinar zonas de interés:
Para la detección de las zonas de interés se definen estas por la por la relación espacial del paralelogramo rectángulo formado por los puntos (A, B) y (A+3C, B+4D) que constituyen vértices del paralelogramo FIG 5, donde A y B corresponde al punto inicial de la zona de interés de la imagen, B y C corresponden al tamaño de las secciones que se extraen de las zonas de interés y que posteriormente se usaran para determinar el valor de umbral de riesgo de desprender un fruto inmaduro.
Para determinar los puntos A, B, C y D existen tres formas de determinar las zonas de interés,
La primera forma es que el operario determine manualmente y según su criterio los puntos (A, B) y (A+3C, B+4D) sobre el sistema de adquisición de imagen.
La segunda forma se debe disponer sobre el fruto o glomérulo un equipo portátil para la cosecha selectiva con un sistema de adquisición de imágenes, un sistema de procesamiento de imágenes y un sistema de recolección de fruto con impactadores con este equipo se adquieren una serie de imágenes del equipo portátil para la cosecha selectiva sobre el fruto o glomérulo usando el sistema de adquisición de imágenes y almacenarlas a las imágenes almacenadas, se les determina y registra la ubicación (x,y) de entre 1 y 10 pixeles, sobre la silueta del impactador; y sobre los puntos (x,y) registrados encontrar los máximos y mínimos; posteriormente determinar el par de puntos (A,B) como los valores mínimos encontrados en los puntos (x.y) de esta manera A = xmin y B = ymin.
Se determina por parte del operario los valores C y D que corresponden al tamaño en pixeles de las secciones de la zona respectivamente, igualmente se determina por parte del operario los valores m y p corresponde al número de columnas y filas, respectivamente, en la zona de interés: En este momento se determina el par de puntos (A+mC,B+pD) como los valores máximos encontrados en los puntos (x.y) de esta manera que se cumpla la relación A + mC= xmax y B + pD = ymax.
La tercera forma para determinar los puntos A, B, C y D, es por medio del sistema de un servo-visión, el cual por medio de la medición de la posición de la herramienta determina el área efectiva del glomérulo cerca al actuador y determina los puntos A, B, mC, pD. El sistema de servo- visión detecta la inclinación de la herramienta y en función de dicha inclinación los valores de (A+mC, B+pD) cambian, si la inclinación de la herramienta es hacia el glomérulo los valores (A+mC, B+pD) aumentan n pixeles por grado de inclinación, y si la herramienta se inclina hacia afuera del glomérulo los valores (A+mC, B+pD) disminuyen n pixeles por grado de inclinación. El valor de n depende de la resolución de la cámara y distancia entre la cámara y el actuador y el valor de n es configurado por el operario.
Una vez detectadas las zonas de interés se procede a determinar un valor de umbral de riesgo de desprender un fruto inmaduro "N" como un porcentaje de la totalidad de pixeles de la sección de la zona de interés. Posteriormente se determina el riesgo de desprender un fruto inmaduro comparando el porcentaje de pixeles de frutos inmaduros de la sección de la zona de interés con el valor de umbral de riesgo de desprender un fruto inmaduro "N" y genera una orden de activación para desprender el fruto maduro dependiendo de las siguientes reglas: Si el porcentaje de pixeles maduros es mayor al valor de umbral de riesgo de desprender un fruto inmaduro "N" y el riesgo de cosechar frutos inmaduros es menor que valor de umbral de riesgo de desprender un fruto inmaduro "N" se genera una orden de activación y se desprende el fruto de manera automática; Si el porcentaje de pixeles maduros es mayor al valor de umbral de riesgo de desprender un fruto inmaduro "N" y el porcentaje de pixeles de frutos inmaduros de la zona de interés supera valor de umbral de riesgo de desprender un fruto inmaduro "N" No se genera orden de activación y no se desprende el fruto maduro de manera automática sino de forma manual;
Se ha determinado de manera empírica que el valor de umbral de riesgo de desprender un fruto inmaduro "N" para cultivos de café se determina en un 10%.

Claims

REIVINDICACIONES
1. Equipo portátil para la cosecha selectiva de frutos en una rama que comprende:
- un sistema de adquisición de imágenes con unidad mínima de observación del cultivo a nivel de rama y fruto;
- un sistema de procesamiento de imágenes conectado al sistema de adquisición de imágenes, el cual genera una señal de desprendimiento de fruto, por medio de la comparación de las imágenes procesadas contra dos valores de umbral, en donde uno indica la presencia de frutos maduros y otro que indica el riesgo de desprender un fruto inmaduro;
- un mecanismo de desprendimiento de frutos que desprende el fruto en un movimiento que describe una función evolvente acorde a la silueta del fruto;
- un mecanismo de recepción de los frutos conectado al mecanismo de desprendimiento ;
- un sistema de control que controla al mecanismo de desprendimiento, el sistema de procesamiento de imágenes, y el sistema de adquisición de imágenes; y>
- un sistema de alimentación de energía al equipo;
donde el mecanismo de desprendimiento de frutos desprende un fruto de la rama mediante una señal de desprendimiento del sistema control según una orden de activación proporcionada por el sistema de procesamiento de imágenes.
2. El sistema de procesamiento de imágenes del equipo reclamado en la reivindicación 1 que comprende una memoria de almacenamiento conectada a un procesador de imagen que genera una orden de activación al sistema de control.
3 Equipo portátil reclamado en la reivindicación 1 caracterizado porque el sistema de adquisición de imágenes, el sistema de procesamiento de imágenes, mecanismo de desprendimiento de frutos, y el sistema de control se encuentran confinados en mismo espacio físico.
4. Equipo portátil reclamado en la reivindicación 1 caracterizado porque el sistema de adquisición de imágenes, el sistema de procesamiento de imágenes, mecanismo de desprendimiento de frutos, y el sistema de control se encuentran confinados en mi mo espacio físico de largo entre 162 mm a 256 mm, ancho entre 119 mm a 196 mm y altura entre 88 mm a 150 mm.
5 Equipo portátil reclamado en la reivindicación 1 que comprende un sistema de iluminación que ilumina la rama y los frutos de la rama, operacionalmente dispuesto con el sistema de adquisición de imágenes.
6. El sistema de adquisición de imágenes del equipo reclamado en la reivindicación 1 que comprende:
-una lente gran angular, ubicada a una distancia del mecanismo de desprendimiento, y con una inclinación entre 0o y 180°entre la lente y el eje central de la rama que contiene los frutos; y,
- un sensor de imagen, dispuesto a una distancia del mecanismo de desprendimiento y operacionalmente dispuesto con la lente gran angular.
7. El sistema de adquisición de imágenes del equipo reclamado en la reivindicación 1 que comprende:
-una lente gran angular , ubicada entre 30mm y70mm del mecanismo de desprendimiento, con una inclinación entre 0o y 180°entre la lente y el eje central de la rama que contiene los frutos; y,
- un sensor de imagen CMOS, en el espectro de luz visible e infrarrojo, dispuesto entre 35 mm y 75 mm del mecanismo de desprendimiento y operacionalmente dispuesto con la lente gran angular.
8. El sistema de iluminación del equipo reclamado en la reivindicación 5 que comprende LEDs de alto brillo.
9. El mecanismo de desprendimiento de frutos del equipo reclamado en la reivindicación 1 que comprende:
- un motor,
- un impactador acoplado al motor; - un posicionador conectado al motor que controlar el ángulo de giro del eje motor;
- un sistema de frenado conectado al motor; y,
- una estructura soporte a la cual se ensambla el motor.
10. La estructura soporte del mecanismo de desprendimiento reclamado en la reivindicación 9 caracterizado por:
-la estructura es conformada por dos brazos unidos en uno de sus extremos por un actuador permitiendo la apertura de los dos brazos y se ajusten al tamaño del glomérulo,
-una de los dos brazos pivota con respecto al actuador que une los brazos; y,.
- los brazos en sus extremos opuestos al punto de pivote, tienen cada uno un motor ensamblado.
11. El impactador del mecanismo de desprendimiento de frutos reclamado en la reivindicación 9 que comprende un arreglo de láminas con formas sobresalientes acorde a la silueta de un glomérulo, posicionadas en paralelo a lo largo del eje del motor del mecanismo de desprendimiento.
12. Arreglo de láminas del impactador reclamado en la reivindicación 11, caracterizado porque las láminas son separadas por anillos.
13. Arreglo de láminas del impactador reclamado en la reivindicación 11 caracterizado porque en una lámina las formas sobresalientes de la lámina describen la función evolvente, como una curva que se obtiene de desenvolver la circunferencia (centrada en el origen del plano cartesiano xy) de radio a,t radianes; definida paramé tacamente por x t) = a (cos (í)+ í sin (í)) » y {t) = « (sin (í ) - i cos (í)) » donde x corresponde al eje de las ordenadas, y al eje de las abscisas, a el radio de la circunferencia y t los radianes que se desenvuelven de la circunferencia desde x = a, y = 0, y t = 0 rad, hastaí = n rad, donde n < π/4.
14. Arreglo de láminas del impactador reclamado en la reivindicación 11 caracterizado porque las láminas tienen un espesor de lámina de entre 2mm a 4 mm y un diámetro de lámina entre 50 mm y 100 mm.
15. El mecanismo de desprendimiento de frutos del equipo reclamado en la reivindicación 9 que comprende una pluralidad de impactadores soportados sobre la estructura de soporte del mecanismo de desprendimiento
16. El mecanismo de recepción de los frutos del equipo reclamado en la reivindicación 1 que comprende:
- un recipiente; y,
- un conducto conectado al recipiente;
donde el conducto flexible transportan los frutos desprendidos por el mecanismo de desprendimiento al recipiente.
17. El sistema de control del equipo reclamado en la reivindicación 1 que comprende un selector de modo de operación del mecanismo de desprendimiento con los modos de operación manual y operación automática.
18. Sistema de servo- visión que comprende sensores inerciales seleccionados en el grupo conformado por un acelerómetro, un giróscopo, un magnetómetro; un sensor de georreferenciación conectados al sistema de control de un equipo portátil para la cosecha selectiva de frutos en una rama.
19. Método para la identificación de frutos por color y cosecha selectiva que comprende las etapas de:
(a) adquirir imágenes de los frutos en la rama;
(b) almacenarlas imágenes en una memoria;
(c) preprocesar las imágenes con un filtrado para reducción de ruido y mejora de la imágenes;
(d) convertir en las imágenes el color de RGB a espacio de color LUX mod; (e) umbralizar las variables U, y VLUX-modificado del espacio de color LUX mod obteniendo una imagen binaria y detectar los pixeles de frutos maduros e inmaduros;
(f) contar los pixeles de frutos maduros e inmaduros;
(g) detectar las zonas de interés, conforme a la posición sobre la rama que contiene los frutos indicada por la imagen;
(h) determinar un valor de umbral de riesgo de desprender un fruto inmaduro "N" como un porcentaje de la totalidad de pixeles de la sección de la zona de interés;
(i) determinar el riesgo de desprender un fruto inmaduro comparando el porcentaje de pixeles de frutos inmaduros de la sección de la zona de interés con el valor de umbral de riesgo de desprender un fruto inmaduro "N";
(j) genera una orden de activación y desprender el fruto dependiendo de las siguientes reglas:
i) si el porcentaje de pixeles maduros es mayor al valor de umbral de riesgo de desprender un fruto inmaduro "N" y el riesgo de cosechar frutos inmaduros es menor que valor de umbral de riesgo de desprender un fruto inmaduro "N" se genera una orden de activación y se desprende el fruto de manera automática; y,
ii) si el porcentaje de pixeles maduros es mayor al valor de umbral de riesgo de desprender un fruto inmaduro "N" y si el porcentaje de pixeles de frutos inmaduros de la zona de interés supera valor de umbral de riesgo de desprender un fruto inmaduro "N" No se genera orden de activación y no se desprende el fruto maduro de manera automática sino de forma manual.
20. El método reclamado en la Reivindicación 19, caracterizado porque en la etapa (d) se cumplen las siguientes relaciones: 1}
Figure imgf000028_0001
donde VLUX-modificado corresponde a una variable que determina coloración verde en la imagen, la variable L corresponde a la luminosidad, la variable U a la cromaticidad del rojo, y la variable X a la cromaticidad del azul.
21. El método reclamado en la Reivindicación 19, caracterizado porque en la etapa (e) se cumple que:
- la detección de frutos maduros se realiza a través de la umbralización de la variable U, haciendo que los píxeles de una imagen binaria de salida tomen valores digitales de " 1 " para valores normalizados de U entre 0,53 y 1 ; y, -la detección de frutos inmaduros se realiza a través de la variable V LUX-mod, haciendo que los píxeles de una imagen binaria de salida tomen valores digitales de " 1" para valores normalizados de V LUX-mod entre 0,53 y 1.
22. El método reclamado en la Reivindicación 19, caracterizado porque en la etapa (f) se cuenta el número total de píxeles rojos y píxeles verdes en la imagen y se genera una proporción de frutos maduros e inmaduros presentes en la imagen.
23. El método reclamado en la Reivindicación 19, caracterizado porque en la etapa (g) se detectan las zonas de interés delimitadas por la relación espacial del paralelogramo rectángulo formado por los puntos (A, B) y (A+3C, B+4D) que constituyen vértices del paralelogramo, donde A y B corresponde al punto inicial de la zona de interés y B y C corresponden al tamaño de las secciones que se extraen de las zonas de interés.
24 El método reclamado en la Reivindicación 19, caracterizado porque en la etapa (g) se detectan las zonas de interés delimitadas por por la relación espacial del paralelogramo rectángulo formado por los puntos (A, B) y (A+3C, B+4D) mediante las etapas:
.(a) disponer sobre el fruto o glomérulo un equipo portátil para la cosecha selectiva con un sistema de adquisición de imágenes, un sistema de procesamiento de imágenes y un sistema de recolección de fruto con impactadores;
(b) adquirir una serie de imágenes del fruto o glomérulo mediante el equipo portátil para la cosecha selectiva sobre el fruto o glomérulo usando el sistema de adquisición de imágenes y almacenarlas;
(c) determinar y registrar a las imágenes almacenadas, la ubicación (x,y) de entre 1 y 10 pixeles sobre la silueta del impactador;
(d) encontrar los máximos y mínimos sobre los puntos (x,y) registrados en las imágenes almacenadas;
(c) determinar el par de puntos (A,B) como los valores mínimos encontrados en los puntos (x.y) de esta manera A = xmin y B = ymin;
(d) determinar por parte del operario los valores C y D que corresponden al tamaño en pixeles de las secciones de la zona de interés;
(e) determinar por parte del operario los valores m y p corresponde al número de columnas y filas, respectivamente, en la zona de interés; y,
(f) determinar el par de puntos (A+mC,B+pD) como los valores máximos encontrados en los puntos (x.y) de esta manera que se cumpla la relación A + mC= xmax y B + pD = ymax.
25. El método reclamado en la Reivindicación 19, caracterizado porque en la etapa (g) se detectan las zonas de interés delimitadas por medio un sistema de servo-visión, el determina el área efectiva del fruto cerca al impactador y determina los puntos mediante las siguiente regla si se determina la inclinación de hacia el glomérulo los valores (A+mC, B+pD) aumentan n pixeles por grado de inclinación, y si la herramienta se inclina hacia afuera del glomérulo los valores (A+mC, B+pD) disminuyen n pixeles por grado de inclinación, el valor de n depende de la resolución de la cámara y distancia entre la cámara y el actuador y es configurado por el operario.
26. El método reclamado en la Reivindicación 19, caracterizado porque en la etapa (h) valor de umbral de riesgo de desprender un fruto inmaduro "N" se determina en un 10%.
PCT/IB2015/051032 2014-02-12 2015-02-11 Equipo portátil para la cosecha selectivacon identificación de frutos por color WO2015121809A1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
MX2016010568A MX2016010568A (es) 2014-02-12 2015-02-11 Equipo portatil para la cosecha selectiva con identificación de frutos por color.
CR20160370A CR20160370A (es) 2014-02-12 2015-02-11 Equipo portátil para la cosecha selectivacon identificación de frutos por color

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CO14029767 2014-02-12
CO14-029767 2014-02-12

Publications (1)

Publication Number Publication Date
WO2015121809A1 true WO2015121809A1 (es) 2015-08-20

Family

ID=53799646

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2015/051032 WO2015121809A1 (es) 2014-02-12 2015-02-11 Equipo portátil para la cosecha selectivacon identificación de frutos por color

Country Status (5)

Country Link
CR (1) CR20160370A (es)
GT (1) GT201600166A (es)
MX (1) MX2016010568A (es)
PE (1) PE20161167A1 (es)
WO (1) WO2015121809A1 (es)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9462749B1 (en) 2015-04-24 2016-10-11 Harvest Moon Automation Inc. Selectively harvesting fruits
US9468152B1 (en) 2015-06-09 2016-10-18 Harvest Moon Automation Inc. Plant pruning and husbandry
US9928584B2 (en) 2016-07-11 2018-03-27 Harvest Moon Automation Inc. Inspecting plants for contamination
US9965845B2 (en) 2016-07-11 2018-05-08 Harvest Moon Automation Inc. Methods and systems for inspecting plants for contamination
CN109743961A (zh) * 2019-03-07 2019-05-14 南京林业大学 一种气力辅助式浆果精确采收装置和方法
CN111401442A (zh) * 2020-03-16 2020-07-10 中科立业(北京)科技有限公司 一种基于深度学习的水果识别方法
WO2020168264A1 (en) 2019-02-15 2020-08-20 Root Ai, Inc. Ripeness detection system using hue color space and peak finding
US11343967B1 (en) 2018-11-14 2022-05-31 Cv Robotics Booster Club Robotic automation of mechanical field harvesting of broccoli plants
CN114766197A (zh) * 2022-04-14 2022-07-22 重庆市农业科学院 成熟甘蓝的鉴别方法及甘蓝采摘方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3389543A (en) * 1965-08-31 1968-06-25 Joseph C. Clark Fruit picking apparatus
US4538405A (en) * 1981-12-11 1985-09-03 Alexandrino Victor M Portable coffee harvesting machine
JPH0981749A (ja) * 1995-09-18 1997-03-28 Iseki & Co Ltd 果実認識装置
US5916115A (en) * 1997-09-17 1999-06-29 Pavone; Osvaldo Olive picker
CO5400120A1 (es) * 2002-10-09 2004-05-31 Fed Nac De Cafeteros De Colombia Desgranador mecanico de frutos de cafe
JP2004180554A (ja) * 2002-12-02 2004-07-02 National Agriculture & Bio-Oriented Research Organization 果菜類の選択収穫方法及び装置
JP2013240299A (ja) * 2012-05-21 2013-12-05 Tokyo Univ Of Agriculture & Technology 収穫装置と収穫方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3389543A (en) * 1965-08-31 1968-06-25 Joseph C. Clark Fruit picking apparatus
US4538405A (en) * 1981-12-11 1985-09-03 Alexandrino Victor M Portable coffee harvesting machine
JPH0981749A (ja) * 1995-09-18 1997-03-28 Iseki & Co Ltd 果実認識装置
US5916115A (en) * 1997-09-17 1999-06-29 Pavone; Osvaldo Olive picker
CO5400120A1 (es) * 2002-10-09 2004-05-31 Fed Nac De Cafeteros De Colombia Desgranador mecanico de frutos de cafe
JP2004180554A (ja) * 2002-12-02 2004-07-02 National Agriculture & Bio-Oriented Research Organization 果菜類の選択収穫方法及び装置
JP2013240299A (ja) * 2012-05-21 2013-12-05 Tokyo Univ Of Agriculture & Technology 収穫装置と収穫方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Database accession no. JP - 2002349712 - A *
Database accession no. JP - 26200295 - A *
DATABASE WPI Derwent World Patents Index; *
LIEVIN M ET AL.: "Nonlinear Color Space and Spatiotemporal MRF for Hierarchical Segmentation of Face Features in Video''.", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 13, no. 1, January 2004 (2004-01-01), Piscataway, NJ, US, pages 63 - 71;, XP011106165, ISSN: 1057-7149, DOI: doi:10.1109/TIP.2003.818013 *
SANZ-URIBE J R ET AL.: "Algorithm to identify maturation stages of coffee fruits''.", ADVANCES IN ELECTRICAL AND ELECTRONICS ENGINEERING - IAENG, (WCECS 2008)., 30 November 2007 (2007-11-30), Piscataway, NJ, US, ISBN: 978-0-7695-3555-5 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9462749B1 (en) 2015-04-24 2016-10-11 Harvest Moon Automation Inc. Selectively harvesting fruits
US9468152B1 (en) 2015-06-09 2016-10-18 Harvest Moon Automation Inc. Plant pruning and husbandry
US9928584B2 (en) 2016-07-11 2018-03-27 Harvest Moon Automation Inc. Inspecting plants for contamination
US9965845B2 (en) 2016-07-11 2018-05-08 Harvest Moon Automation Inc. Methods and systems for inspecting plants for contamination
US10198806B2 (en) 2016-07-11 2019-02-05 Harvest Moon Automation Inc. Methods and systems for inspecting plants for contamination
US11343967B1 (en) 2018-11-14 2022-05-31 Cv Robotics Booster Club Robotic automation of mechanical field harvesting of broccoli plants
WO2020168264A1 (en) 2019-02-15 2020-08-20 Root Ai, Inc. Ripeness detection system using hue color space and peak finding
EP3923701A4 (en) * 2019-02-15 2022-11-23 Appharvest Technology, Inc. MATURITY DETECTION SYSTEM WITH COLOR SPACE AND PEAK VALUE DETERMINATION
CN109743961A (zh) * 2019-03-07 2019-05-14 南京林业大学 一种气力辅助式浆果精确采收装置和方法
CN111401442A (zh) * 2020-03-16 2020-07-10 中科立业(北京)科技有限公司 一种基于深度学习的水果识别方法
CN114766197A (zh) * 2022-04-14 2022-07-22 重庆市农业科学院 成熟甘蓝的鉴别方法及甘蓝采摘方法
CN114766197B (zh) * 2022-04-14 2024-03-12 重庆市农业科学院 甘蓝采摘方法

Also Published As

Publication number Publication date
PE20161167A1 (es) 2016-11-27
MX2016010568A (es) 2017-05-09
CR20160370A (es) 2016-12-06
GT201600166A (es) 2018-12-18

Similar Documents

Publication Publication Date Title
WO2015121809A1 (es) Equipo portátil para la cosecha selectivacon identificación de frutos por color
ES2928928T3 (es) Estimación del rendimiento de los cultivos agrícolas
ES2950981T3 (es) Dispositivo autoguiado para la recolección de flores
ES2905827T3 (es) Sistema y método para la gestión de tareas de agricultura de plantación y recogida de datos
Li et al. Review on fruit harvesting method for potential use of automatic fruit harvesting systems
Wang et al. Automated crop yield estimation for apple orchards
JP5020444B2 (ja) 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
CN104482860B (zh) 鱼类形态参数自动测量装置和方法
KR101374802B1 (ko) 농업용 로봇시스템
KR102301658B1 (ko) 식물 생육 장치 및 그 제어 방법
JP2011103870A (ja) 植物の特徴の自動測定システム、方法および記録媒体
ES2947222T3 (es) Procedimiento automatizado de selección y de recolección de frutas y equipo mecánico que pone en práctica el procedimiento
US11783576B2 (en) Method and system for optical yield measurement of a standing crop in a field
US20220132737A1 (en) Method and system for optical yield measurement of a standing crop in a field
US20220138925A1 (en) Method and system for optical yield measurement of a standing crop in a field
Tejada et al. Proof-of-concept robot platform for exploring automated harvesting of sugar snap peas
Mirbod et al. On-tree apple fruit size estimation using stereo vision with deep learning-based occlusion handling
FR3001102A1 (fr) Procede de pilotage d&#39;un dispositif agricole automatise autonome
Huang et al. An automatic machine vision-guided grasping system for Phalaenopsis tissue culture plantlets
BR112019017518A2 (pt) Sistemas e métodos para determinar o período de colheita para a matéria vegetal dentro de uma cápsula de cultivo
AU2021204034B2 (en) Information processing device, information processing method and program
WO2017131172A1 (ja) 芝生育成装置、芝生育成システム、および芝生管理システム
Wang et al. Design of crop yield estimation system for apple orchards using computer vision
JP2003000031A (ja) 果実の検出方法
JP2021175396A (ja) 収穫装置、収穫システム、収穫方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15749041

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 001483-2016

Country of ref document: PE

Ref document number: CR2016-000370

Country of ref document: CR

Ref document number: MX/A/2016/010568

Country of ref document: MX

122 Ep: pct application non-entry in european phase

Ref document number: 15749041

Country of ref document: EP

Kind code of ref document: A1