WO2014157877A1 - 농업용 로봇시스템 - Google Patents

농업용 로봇시스템 Download PDF

Info

Publication number
WO2014157877A1
WO2014157877A1 PCT/KR2014/002407 KR2014002407W WO2014157877A1 WO 2014157877 A1 WO2014157877 A1 WO 2014157877A1 KR 2014002407 W KR2014002407 W KR 2014002407W WO 2014157877 A1 WO2014157877 A1 WO 2014157877A1
Authority
WO
WIPO (PCT)
Prior art keywords
fruit
laser beam
flower
cutting
flowers
Prior art date
Application number
PCT/KR2014/002407
Other languages
English (en)
French (fr)
Inventor
이철희
Original Assignee
Lee Chul Hee
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lee Chul Hee filed Critical Lee Chul Hee
Priority to US14/781,045 priority Critical patent/US20160050852A1/en
Publication of WO2014157877A1 publication Critical patent/WO2014157877A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G3/00—Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/24—Devices for picking apples or like fruit
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0019—End effectors other than grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023—Cartesian coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G3/00—Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
    • A01G2003/005—Removing buds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/14—Arm movement, spatial
    • Y10S901/16—Cartesian, three degrees of freedom
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/41—Tool

Definitions

  • the present invention relates to an agricultural robot system, and more particularly, to scan the laser beam through a galvano-scanner to more quickly and hygienicly cut and cut flowers (picking or burning flowers). It relates to an agricultural robot system that makes it possible.
  • cutting devices such as end effectors, scissors, knives, etc. may also transmit various viruses or germs between crop individuals during overcutting, which is not good for crop hygiene.
  • the recent bloom thinners are mainly configured to rotate the axle to which a plurality of wires are attached, and to strike the flowered branch strongly, so that the branch of the crop is not attached to the desired position. There was a problem such as broken.
  • Korean Patent No. 784830 discloses a bench-cultivated strawberry harvesting robot system for harvesting strawberries
  • US Patent No. 4663925 discloses a fruit harvesting robot hand for harvesting fruit on a tree branch
  • Japan Patent registration No. 5360832 discloses a fruit removing and fruit harvesting device
  • Japanese patent registration Nos. 3052470 and 3024761 disclose a fruit harvesting robot for harvesting cucumbers.
  • the present invention has been made to solve the above problems, by cutting the laser beam through a galvano scanner to cut the fruit or burn the flower (burning: burning or ripening) more quickly and cutting flowers
  • the objective is to provide an agricultural robotic system that can be sanitized.
  • a laser beam generator for generating a laser beam
  • a galvano scanner which scans and cuts flowers by scanning the laser beam output from the laser beam generator
  • a camera installed facing the scanning surface of the galvano scanner and photographing fruits or flowers
  • An image acquisition unit for photographing an image including the fruit or a flower from the camera
  • An image recognition unit for recognizing fruit, fruit and flowers in the image photographed by the image acquisition unit
  • a target area detection unit for detecting a diseased cutting and flowering target area from the image recognition information of the image recognition unit.
  • the laser beam is applied to the target area by the galvano scanner based on the target area information detected by the target area detection unit. Scanning is characterized in that over-cutting and flowering.
  • the present invention provides an agricultural robot system for over-cutting or cutting flowers by scanning a laser beam without contact using a galvano scanner, which can prevent crop damage and transmission of germs, and can quickly reduce work and labor. Various effects can be obtained.
  • FIG. 1 is a view showing a part of a snow-cultivated farm in which an agricultural robot system and a strawberry harvesting device according to an embodiment of the present invention are installed.
  • FIG. 2 is a view showing a robot robot for agriculture according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an agricultural robot system having a plurality of galvano scanners and cameras in an end effector according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a galvano scanner and a laser beam generator according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a galvano scanner, a camera, and a scan surface according to an embodiment of the present invention.
  • FIG. 6 is a block diagram showing an internal control apparatus of the agricultural robot system according to an embodiment of the present invention.
  • FIG. 7 is a flowchart showing a flowchart of the agricultural robot system according to an embodiment of the present invention.
  • FIG. 8 is an input image for explaining a fruit disease cutting and a flower target target area according to an embodiment of the present invention.
  • FIG. 9 is a view for explaining a fruit disease cutting and a flower target area according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a state in which an end effector according to an embodiment of the present invention has a delta robot instead of a galvanos scanner.
  • FIG. 11 is a view showing a state having a multi-joint robot in place of the support and the shaft according to an embodiment of the present invention.
  • FIG. 12 is a view illustrating a state in which an end effector according to an embodiment of the present invention is provided with a multi-joint robot and a delta robot instead of a support, a shaft, and a galvanos scanner.
  • Y axis mirror motor 214 Y axis mirror
  • injection nozzle 250 laser beam generator
  • 252 target area for cutting fruit 253: target area for flowering
  • FIG. 1 is a view showing a part of the agricultural robot system according to an embodiment of the present invention and a snow-cultivated farm in which the strawberry harvesting device is installed
  • FIG. 2 is a view illustrating an agricultural robot system according to an embodiment of the present invention
  • 3 is a diagram illustrating an agricultural robot system having a plurality of galvano scanners and cameras in an end effector according to an embodiment of the present invention
  • FIG. 4 is a galva according to an embodiment of the present invention.
  • 5 is a diagram illustrating a furnace scanner and a laser beam generator
  • FIG. 5 is a diagram illustrating a galvano scanner, a camera, and a scanning surface according to an embodiment of the present invention
  • FIG. 6 is according to an embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating an internal control apparatus of an agricultural robot system
  • FIG. 7 is a flowchart illustrating a flowchart of an agricultural robot system according to an embodiment of the present invention
  • FIG. 8 is a fruit disease according to an embodiment of the present invention. End and a flower and the input image for explaining a shorthand the region
  • Figure 9 is a view for explaining the gwabyeong cut flowers and transcribe the region in accordance with one embodiment of the present invention.
  • Figure 10 in the end effector according to an embodiment of the present invention, is a view showing a state provided with a delta robot instead of a galvanoscancer, Figure 11, a support and a shaft according to an embodiment of the present invention
  • Figure 12 is a view showing a state having a multi-joint robot in place of, Figure 12, in the end effector according to an embodiment of the present invention, having a joint and a delta robot instead of a support and a shaft and galvanoscancer It is a figure which shows the state which formed.
  • a cultivation stand 400 designed to sag strawberry due to the weight of the fruit and a plurality of legs 410 to support a predetermined height.
  • a galvano scanner 210 which scans or cuts and cuts the laser beam 251 output from the laser beam generator 250;
  • a target area detection unit 930 for detecting a diseased cutting and flowering target area from the image recognition information of the image recognition unit 920,
  • the galvano scanner 210 is driven based on the target region information detected by the target region detector 930 to scan the laser beam 251 on the target region so that the diseased or cut flowers or the diseased cuts and flowers It is formed to.
  • the length of the cultivation butt 400 is substantially the same length and moves along the rail 190 installed side by side, having a moving device 980 and a control device 900 and a tray for collecting fruit
  • a shaft 160 installed on the main body 100 to facilitate up, down, or rotation of the support 140 according to the number of floors and the height of the cultivation stand 400;
  • the laser beam generator 250 is attached to the front end of the support 140 and outputs a laser beam.
  • the laser beam output from the laser beam generator 250 is scanned on the fruit or flower of the fruit to cut or cut flowers. It is provided with a galvano scanner 210 to the cultivation butt 400, having a camera 220 for photographing the fruit or flower, and equipped with an air 230 necessary for the photographing of the camera 220, air or
  • An end effector 200 having a spray nozzle 240 for spraying a liquid (medical liquid and pollen mixture);
  • the number of the cameras 220, the rails 190 or the like when the distance between the camera 220 and the subject (fruit or flower) is kept constant within a predetermined range, the one camera, Since the distance between the camera 220 and the subject (fruit or flower) is not constant, it is necessary to calculate depth (Z-axis: distance between the camera and the subject) information in the image or the position of the main body 100 and the end effector 200. And a plurality of cameras (stereo cameras, etc.) in an environment in which postures can be adjusted by themselves (see FIG. 11).
  • the inside of the hopper 300 is made of an elastic member so that the falling strawberry is not damaged.
  • the hopper 300 and the laser beam shielding plate 310 may be attached or removed depending on the type of work, the crop and the growing environment.
  • the position and posture of the end effector 200 in place of the support 140 and the shaft 160 is a Cartesian robot, an articulated robot, a delta robot, or the like. It can also be adjusted to provide (see Fig. 11).
  • the rail 190 may be installed by being attached to the leg 410 or the cultivation stand 400 as well as the ground, or may be hung from an upper portion of the cultivation stand 400, and may be spaced apart from each other. It may be installed to be attached between the cultivation stand 400 or the legs 410 installed.
  • the moving device 980 is implemented such that the main body 100 moves along the rail 190, but the present invention is not limited thereto, and a line tracer is provided.
  • the main body 100 can be moved in various ways, such as by using a method or by traveling along a path previously stored in the control device 900 or a remote server.
  • the air spray of the injection nozzle 240 is used to help moisturize the pollen to reach the pistil by causing the wind, or to move the position of the fruit and flower by the force of the wind.
  • the flower bud in the present invention means to take out flowers and flower buds.
  • the agricultural robot system includes an end effector having various shapes including the galvano scanner 210 and the camera 220 on the top, bottom, left, and right sides of the main body 100. Forming the 200 can be applied to a variety of crops and can further improve the speed and efficiency of the work.
  • the galvano scanner 210 provided inside the end effector 200 includes an X-axis mirror 212 and a Y-axis mirror 214 that reflect the laser beam, and the X-axis mirror.
  • the laser beam generator 250 for generating the laser beam is installed at one end of the galvano scanner 210 inside the end effector 200.
  • the laser beam 251 output from the laser beam generator 250 is scanned while being reflected through the X-axis mirror 212 and the Y-axis mirror 214 of the galvano scanner 210.
  • the surface 255 may be output in various shapes such as lines, areas, and dots, and according to the output intensity of the laser beam generator 250, cutting, marking, burning, and optically cutting metal, stone, wood, and fiber with a laser beam. You can display.
  • the laser beam generator 250 adjusts and outputs the intensity of the laser beam 251 according to the signal of the control device 900, and during the disease cutting, increases the intensity of the laser beam 251 to increase the fruit disease 501.
  • the laser beam 251 weakens the intensity of the flowers to learn or burn the pistil of flowers so that flowers or flower buds no longer function.
  • the camera 220 installed facing the scanning surface 255 of the galvano scanner 210 is an image including the fruit, flowers and flower buds cultivated in the plant support 400 and sag down.
  • the signal is transmitted to the image acquisition unit 910 of the control device 900 (see Fig. 6).
  • the laser beam generator 250 is installed at one end of the galvano scanner 210, but the present invention is not limited thereto.
  • the laser beam generator 250 is installed in the main body 100.
  • the laser beam is provided through a mirror or an optical fiber so that the laser beam may be input at a predetermined position of the galvano scanner. The path of is derived.
  • the laser beam 251 is scanned by the scan surface 255 by driving the galvanos scanner 210, but the present invention is not limited thereto.
  • the end effect 200 includes a delta robot 290 or an orthogonal coordinate robot or an articulated robot instead of the galvanos scanner 210 to scan the laser beam 251 to a specific position of the scan surface 255. It may be formed (see Figs. 10 to 12).
  • control device 900 of the agricultural robot system 10 according to an embodiment of the present invention with reference to FIG.
  • the image acquiring unit 910 for acquiring an image including the fruit and a flower from at least one camera 220, and classifying the fruit, fruit, and flower from the image acquired by the image acquiring unit 910; ,
  • the fruit recognizer 920 for calculating the state and number of flowers and the fruit, fruit, flower, flower buds and flower beds calculated by the image recognizer 920
  • a target area detector 930 for detecting a target area
  • a calibration unit for calibrating the coordinates of the camera 220 and the coordinates of the galvano scanner 210 and providing correction information to the target area detector 930
  • 940 and the control unit 950 for controlling the overall operation according to an embodiment of the present invention, such as the galvano scanner 210, the conveyor 120 and the moving device 980, and inputs and outputs signals to the outside. Configured All.
  • the image recognizing unit 920 may include calculating correlation and depth information using information classified and recognized from each image when the image is an image acquired from the plurality of cameras 220. .
  • the image acquisition unit 910 acquires an image from the camera 220 input signal and transfers the image to the image recognition unit 920.
  • the image recognition unit 920 extracts, recognizes and labels the fruit, fruit, flower, flower bud and flower stalk from the image, and transfers the image to the target area detection unit 930 (see FIG. 8).
  • the image recognition conditions depend on the variety of crops and the working environment and are set and selected in advance.
  • the fruit is classified and recognized as fruit and fruit
  • the flowers are classified and recognized as petals and pistils
  • the flower bud is classified and recognized as calyx and petals.
  • the red fruit to be harvested is recognized as having a red area of a predetermined size and a plurality of points due to a plurality of seeds in the red area are uniformly distributed.
  • the immature fruit is recognized by characterized in that the white area larger than the predetermined size, the red area is smaller than the predetermined size, and a plurality of points due to the plurality of seeds are uniformly distributed in the white area and the red area.
  • the fruit disease is characterized in that it has a green long line shape starting from the middle of the upper end of the calyx (green) covering the upper part of the fruit and having a predetermined range of inclination toward the upper part.
  • pistils yellow high frequency areas and small, many point-containing areas
  • stamens yellow and relatively low frequency areas than pistils
  • pistils are extracted and their edges are petals (white) and recognized as flowers, and a predetermined size
  • the calyx of a flower (green) and the flower of the very small size (white) is not bloomed, or if the petal of the very small size is contained in the calyx of a predetermined size, it is recognized as a flower bud.
  • the flower stalk is recognized by being branched into a green long line shape and a plurality of fruits in an up and down direction or a predetermined slope.
  • the image recognition unit 920 implements color images, gray images, and black and white image information alone or in parallel.
  • the recognition of the strawberry according to an embodiment of the present invention is classified as red fruit and immature fruit, but the present invention is not limited thereto.
  • malformation and infected strawberry can be recognized together to function fruit.
  • over-cutting and flowering conditions vary depending on the variety of crop and the working environment and are set in advance. For example, when the sum of fruit and fruit per flower bed is set not to exceed 4, the fruit and flowers are added together from the end of the flower bed (section where the fruit first opens), leaving only 4 pieces in order and the remaining flowers or flower buds. Performs a sweeping operation (see FIG. 9).
  • the designation of the target region is the fruit-cutting part (straight line having a slope and thickness) of the fruit to be cut in the case of fruit within the image range, and in the case of a flower
  • the entire area (circle or oval shape filled with irregular shape), the calyx or the central part (filled circle shape) of the petals in the case of the flower bud are the target areas (see Fig. 9).
  • the length and cutting position of the fruit when cutting the fruit can be adjusted according to the variety and working environment. For example, if you are concerned about fruit damage due to collisions between fruits, cut the fruit length very short to avoid stabbing other fruits, or cut the fruit length as long as possible so that the fruit will bend and damage other fruits. You can do that.
  • next step S50 it is determined whether there is an over-cutting and flowering target region detected by the target region detection unit 930. If negative, go to step S170 to execute, if yes, go to the next step.
  • the output power is adjusted to the laser beam intensity suitable for flowering work.
  • the laser beam is adjusted to the overcut cutting intensity.
  • the laser beam is scanned and cut in one fruit according to the order determined by the target area detection unit 930.
  • next step S120 the image is re-acquired to determine whether the over-cutting operation of the previous step S110 succeeds (S140) and the cutting position of the remaining fruits.
  • the image recognition unit 920 extracts, recognizes and labels the fruit and the fruit in the image in the same manner as in step S30, and transmits to the target area detection unit 930 in step S140.
  • next step S140 it is determined whether the over-cutting operation performed in the step S110.
  • step S140 When the fruit is cut by the laser beam, the fruit falls down due to its own weight. If the fruit does not appear on the screen in step S140, the fruit cutting operation is successful, and thus, the next step S150 is performed. On the contrary, if it is negative, the steps from S100 to S140 are repeated and the disease cutting operation is performed again for the same disease cutting target area.
  • next step S150 within the image recognition result range of the step S130, for the fruit satisfies the pre-set disease cutting conditions (color, correlation, position, etc.) in the same manner as in the step S40. Detect to work area.
  • next step S160 it is determined whether there is an over-cutting target area detected by the target area detection unit 930 in step S150. If yes, go to S100 to perform a new overcutting operation, and if negative, go to next S170.
  • next step S170 it is determined whether there is a job end command, and if it is negative, the main body 100 is moved to the next work position, and the above steps are repeated, and conversely, if it is positive, the process ends.
  • the agricultural robot system according to the present invention can not only quickly and accurately work, but also reduce labor and production costs, and can prevent crop damage and transmission of viruses and germs, and improve the quality of fruits. It can be further improved.
  • the agricultural robot system according to the present invention can quickly harvest fruit or pick flowers, greatly reducing manpower and costs, preventing damage to crops, transmission of viruses or germs, and environmental pollution due to pesticide use. It is used to further improve the quality of the fruit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Forests & Forestry (AREA)
  • Ecology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Harvesting Machines For Specific Crops (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 레이저 빔 발생기를 구비하여 과병절단하거나 꽃솎기하는 농업용 로봇시스템에 관한 것으로서 보다 상세하게는, 카메라 입력 화상으로부터 과실 또는 꽃 또는 꽃눈을 인식한 후, 레이저 빔을 스캔하여 과병절단 또는 꽃솎기(꽃 또는 꽃눈을 태우거나 익힘)함으로써 작업을 빠르게 할 수 있고, 무접촉 작업으로 작물의 손상 방지와 바이러스 및 병균의 전염을 막을 수 있고 노동력 절감을 할 수 있는 농업용 로봇시스템에 관한 것이다.

Description

농업용 로봇시스템
본 발명은 농업용 로봇시스템에 관한 것으로서 보다 상세하게는, 갈바노 스캐너(galvano-Scanner)를 통해 레이저 빔을 스캔시켜서 과병절단 및 꽃솎기(꽃을 익히거나 태워서 솎아냄)를 보다 신속하고 위생적으로 할 수 있도록 한 농업용 로봇시스템에 관한 것이다.
종래에는 딸기, 포도, 토마토 또는 체리 등의 작물에 대한 수확, 과실솎기, 꽃솎기 그리고 꽃눈속기 등의 작업을 주로 수작업에 의존해왔다. 최근에는 양액재배와 같이 발전된 재배기술로 인해 많은 부분 기계화가 진행되었지만 추가적으로 작업효율을 높이고 노동력을 절감하며 신속하고 위생적인 기계화에 대한 요구가 더욱 커지고 있다.
이러한 요구로, 정보처리기술과 로봇제어기술 발전에 힘입어 화상처리(image processing) 기술이나 모션컨트롤(motion control) 기술 등을 융합한 로봇제어기술을 이용하여 과실을 수확하는 장치가 개발, 실용화되고 있다.
최근 개발되고 있는 수확장치들은 주로 다관절 머니플레이터(manipulator)를 구비하고, 머니플레이터 종단의 엔드이펙트(end-effector)에 과병 절단을 위한 칼날 등 절단장치를 구비하고 있으며, 수확 시 엔드이펙터가 수확대상 과실에 접근하여 과병에 물리적인 힘을 가함으로써 과병을 절단한다.
따라서, 머니플레이터와 절단장치의 복잡한 구조로 인하여 가격이 비싸고, 머니플레이터를 이용한 엔드이펙터의 이동에 많은 시간이 소요되며, 엔드이펙터의 크기나 구조로 인해 과병절단대상물 외의 과실, 줄기, 잎 등에 닿아 작물에 손상을 주는 등 문제점이 있었다.
또한 엔드이펙터의 가위, 칼 등과 같은 절단장치는 과병절단 시 작물 개체 간에 각종 바이러스나 병균을 전염시킬 수도 있어서 작물위생에도 좋지 못하다.
또한, 최근의 꽃솎기장치(blossom thinner)들은 주로 다수의 와이어(wire)가 부착된 축(axle)을 회전시키며 꽃이 달린 가지를 강하게 때리도록 구성되어 있어서 원하는 위치에 꽃을 달지 못하고 작물의 가지가 부러지는 등의 문제가 있었다.
한편, 과병절단 또는 꽃솎기하는 방법은 작물에 따라 달라지며, 그에 따라 다양한 형태의 과병절단용 로봇이 개발되고 있다. 한국특허등록 제784830호에는 딸기를 수확하기 위한 벤치 재배형 딸기 수확 로봇 시스템이 개시되고 있고, 미국특허등록 제4663925호에는 나무 가지에 달린 과일을 수확하기 위한 과일 수확용 로봇핸드가 개시되고, 일본특허등록 제5360832호에는 과병제거 및 과실수확장치가 개시되고, 일본특허등록 제3052470호, 제3052471호에는 오이를 수확하기위한 과실수확로봇이 개시되고 있다.
이에 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 갈바노 스캐너를 통해 레이저 빔을 스캔시켜서 과병을 절단하거나 꽃을 버닝(burning : 태우거나 익힘)함으로써 과병절단 및 꽃솎기를 보다 신속하고 위생적으로 할 수 있도록 한 농업용 로봇시스템을 제공하는데 목적이 있다.
이하 본 발명을 설명하면 다음과 같다.
레이저 빔을 발생시키는 레이저 빔 발생기와; 상기 레이저 빔 발생기에서 출력된 레이저 빔을 스캔시켜 과병절단 또는 꽃솎기하는 갈바노 스캐너와; 상기 갈바노 스캐너의 스캔 면을 향하여 마주보게 설치되며 과실 또는 꽃을 촬영하는 카메라와; 상기 카메라로부터 상기 과실 또는 꽃을 포함하는 화상을 촬영하는 화상취득부와; 상기 화상취득부에서 촬영한 화상에서 과실과 과병 그리고 꽃을 인식하는 화상인식부와; 상기 화상인식부의 화상인식정보로부터 과병절단 및 꽃솎기 대상영역을 검출하는 대상영역검출부로 구성되며, 상기 대상영역검출부에서 검출한 대상영역 정보를 근거하여 상기 갈바노 스캐너로 상기 대상영역에 상기 레이저 빔을 스캔시켜 과병절단 및 꽃솎기 하는 것을 특징으로 한다.
본 발명은 갈바노 스캐너를 이용해 무접촉으로 레이저 빔을 스캔시켜서 과병절단하거나 꽃솎기하는 농업용 로봇시스템을 제공하여, 작물의 손상 및 병균의 전염을 막을 수 있고 신속한 작업 및 노동력 절감을 할 수 있는 등 다양한 효과를 얻을 수 있다.
도 1은, 본 발명의 일실시예에 따른 농업용 로봇시스템 및 그 딸기 수확장치가 설치된 고설재배농장의 일부를 나타내는 도면이다.
도 2는, 본 발명의 일실시예에 따른 농업용 로봇시스템을 도시한 도면이다.
도 3은, 본 발명의 일실시예에 따른 엔드이펙터에 복수의 갈바노 스캐너와 카메라를 구비한 농업용 로봇시스템을 도시한 도면이다.
도 4는, 본 발명의 일실시예에 따른 갈바노 스캐너 및 레이저 빔 발생기를 도시한 도면이다.
도 5는, 본 발명의 일실시예에 따른 갈바노 스캐너, 카메라 그리고 스캔 면을 도시한 도면이다.
도 6은, 본 발명의 일실시예에 따른 농업용 로봇시스템의 내부 제어장치를 도시하는 블록도이다.
도 7은, 본 발명의 일실시예에 따른 농업용 로봇시스템의 흐름도를 도시하는 순서도이다.
도 8은, 본 발명의 일실시예에 따른 과병절단 및 꽃속기 대상영역을 설명하기 위한 입력 화상이다.
도 9는, 본 발명의 일실시예에 따른 과병절단 및 꽃속기 대상영역을 설명하기 위한 도면이다.
도 10은, 본 발명의 일실시예에 따른 엔드이펙터에 있어서, 갈바노스캐너 대신 델타로봇을 구비한 상태를 도시한 도면이다.
도 11은, 본 발명의 일실시예에 따른 지지대와 샤프트를 대신하여 다관절로봇을 구비한 상태를 도시한 도면이다.
도 12는, 본 발명의 일실시예에 따른 엔드이펙터에 있어서, 지지대와 샤프트 그리고 갈바노스캐너 대신 다관절로봇과 델타로봇을 구비하여 형성된 상태를 도시한 도면이다.
* 도면의 주요부호에 대한 상세한 설명 *
10 : 농업용 로봇시스템
100 : 본체 　 110 : 트레이
120 : 이송기 　 130 : 적과용 폐기구
140 : 지지대 　 150 : 연결대
160 : 승강 및 회전 샤프트 　 170 : 다용도통
180 : 바퀴 　 190 : 레일
200 : 엔드이펙터 　 210 : 스캐너
211 : X축 미러 모터 　 212 : X축 미러(mirror)
213 : Y축 미러 모터 　 214 : Y축 미러
220 : 카메라 　 230 : 조명
240 : 분사노즐 　 250 : 레이저 빔 발생기
251 : 레이저 빔 　 255 : 스캔 면
252 : 과병절단 대상영역 　 253 : 꽃솎기 대상영역
290 : 델타로봇 　 291 : 다관절로봇
300 : 호퍼(hopper) 　 310 : 레이저 빔 차폐판
320 : 과실분류기
400 : 재배받침대 　 410 : 다리
500 : 적색과실 　 501 : 과병
510 : 미숙과실 　 520 : 꽃
530 : 꽃눈 　 540 : 꽃대
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 상세히 설명하면 다음과 같다. 단, 본 일실시예에 기재되어 있는 작목, 과실재배방식, 구성부품의 치수, 재질, 형상, 그 상대적 배치 등은 특히 특정적인 기재가 없는 한은 본 발명의 범위를 거기에 한정하는 취지가 아니고, 단순한 설명예에 지나지 않는다.
도 1은, 본 발명의 일실시예에 따른 농업용 로봇시스템 및 그 딸기 수확장치가 설치된 고설재배농장의 일부를 나타내는 도면이고, 도 2는, 본 발명의 일실시예에 따른 농업용 로봇시스템을 도시한 도면이며, 도 3은, 본 발명의 일실시예에 따른 엔드이펙터에 복수의 갈바노 스캐너와 카메라를 구비한 농업용 로봇시스템을 도시한 도면이고, 도 4는, 본 발명의 일실시예에 따른 갈바노 스캐너 및 레이저 빔 발생기를 도시한 도면이며, 도 5는, 본 발명의 일실시예에 따른 갈바노 스캐너, 카메라 그리고 스캔 면을 도시한 도면이고, 도 6은, 본 발명의 일실시예에 따른 농업용 로봇시스템의 내부 제어장치를 도시하는 블록도이며, 도 7은, 본 발명의 일실시예에 따른 농업용 로봇시스템의 흐름도를 도시하는 순서도이고, 도 8은, 본 발명의 일실시예에 따른 과병절단 및 꽃속기 대상영역을 설명하기 위한 입력 화상이고, 도 9는, 본 발명의 일실시예에 따른 과병절단 및 꽃속기 대상영역을 설명하기 위한 도면이다.
또한, 도 10은, 본 발명의 일실시예에 따른 엔드이펙터에 있어서, 갈바노스캐너 대신 델타로봇을 구비한 상태를 도시한 도면이고, 도 11은, 본 발명의 일실시예에 따른 지지대와 샤프트를 대신하여 다관절로봇을 구비한 상태를 도시한 도면이며, 도 12는, 본 발명의 일실시예에 따른 엔드이펙터에 있어서, 지지대와 샤프트 그리고 갈바노스캐너 대신 다관절로봇과 델타로봇을 구비하여 형성된 상태를 도시한 도면이다.
도 1을 참조하면, 고설재배에는 딸기가 결실 시 과실의 자중에 의해 딸기가 처지도록 고안된 재배받침대(400)와 소정의 높이로 지지하는 복수의 다리(410)가 설치되어 있다.
본 발명에 따른 농업용 로봇시스템(10)은, 도 1 내지 도 7에 도시된 바와 같이,
레이저 빔을 발생시키는 레이저 빔 발생기(250)와;
상기 레이저 빔 발생기(250)에서 출력된 레이저 빔(251)을 스캔시켜 과병절단 또는 꽃솎기하는 갈바노 스캐너(210)와;
상기 갈바노 스캐너(210)의 스캔 면(255)을 향하여 마주보게 설치되며 과실 또는 꽃을 촬영하는 카메라(220)와;
상기 카메라(220)로부터 상기 과실 또는 꽃을 포함하는 화상을 촬영하는 화상취득부(910)와;
상기 화상취득부(910)에서 촬영한 화상에서 과실과 과병 그리고 꽃을 인식하는 화상인식부(920)와;
상기 화상인식부(920)의 화상인식정보로부터 과병절단 및 꽃솎기 대상영역을 검출하는 대상영역검출부(930)로 구성되며,
상기 대상영역검출부(930)에서 검출한 대상영역 정보를 근거하여 상기 갈바노 스캐너(210)를 구동하여 상기 대상영역에 상기 레이저 빔(251)을 스캔시켜 과병절단 또는 꽃솎기 또는 과병절단 및 꽃솎기 하도록 형성된다.
상기와 같은 구성으로 본 발명에 따른 농업용 로봇시스템(10)을 설명하면,
지면상에 부설되며 상기 재배받침대(400)의 긴 방향으로 길이가 거의 동일하고 나란히 설치된 레일(190)을 따라 이동하며 이동장치(980)와 제어장치(900)를 구비하며 과실을 수집하기 위한 트레이(110)와 과실을 상기 트레이(110)로 이송시키는 이송기(120)를 구비한 본체(100)와;
상기 본체(100) 위에 설치되며 지지대(140)를 상기 재배받침대(400)의 층수와 높이에 따라 상·하 또는 회전이 용이하게 하는 샤프트(160)와;
상기 지지대(140)의 선단부에 부착되며 레이저 빔을 출력하는 레이저 빔 발생기(250)를 구비하고 상기 레이저 빔 발생기(250)에서 출력된 레이저 빔을 과실의 과병 또는 꽃에 스캔하여 과병절단 또는 꽃솎기하는 갈바노 스캐너(210)를 구비하며 상기 재배받침대(400)를 향하며 상기 과실 또는 꽃을 촬영하는 카메라(220)를 구비하고 상기 카메라(220)의 촬영에 필요한 조명(230)을 구비하며 공기 또는 액체(약액 및 꽃가루혼합액)를 분사하는 분사노즐(240)을 구비한 엔드이펙터(200)와;
과병절단되어 떨어지는 과실을 모으는 호퍼(300)와 맞닿아 형성되며 상기 지지대(140)와 연결대(150)에 고정되고 상기 갈바노 스캐너(210)에 의해 스캔된 레이저 빔이 작업영역 범위를 벗어나지 못하도록 차단하는 레이저 빔 차폐판(310)을 형성하여 구성된다.
바람직하게, 상기 카메라(220)의 개수는, 레일(190) 등을 설치하여 상기 카메라(220)와 피사체(과실 또는 꽃)의 간격이 소정 범위 내에서 일정하게 유지되는 경우 하나의 카메라를, 상기 카메라(220)와 피사체(과실 또는 꽃)의 간격이 일정하지 않아서 영상 내 깊이(Z축 : 카메라와 피사체 사이의 거리)정보 산출이 필요하거나 상기 본체(100) 및 상기 엔드이펙터(200)의 위치 및 자세를 스스로 조절할 수 있어야 하는 환경에서는 다수의 카메라(스테레오 카메라 등)를 구비한다.(도 11 참조)
바람직하게, 상기 호퍼(300)의 내측은, 떨어지는 딸기가 손상되지 않도록 탄성부재로 이루어져 있다.
바람직하게, 상기 호퍼(300)와 상기 레이저 빔 차폐판(310)은 작업종류와 작목 그리고 재배환경에 따라 각각 부착 또는 제거될 수 있다.
바람직하게, 상기 지지대(140)와 상기 샤프트(160)를 대신하여 엔드이펙터(200)의 위치 및 자세는 직교좌표로봇(cartesian robot) 또는 다관절로봇(articulated robot) 또는 델타로봇(delta robot) 등을 구비하여 조절할 수도 있다.(도 11 참조)
바람직하게, 상기 레일(190)은 지면뿐만 아니라 상기 다리(410) 또는 상기 재배받침대(400)에 부착하여 설치되거나, 상기 재배받침대(400)의 상부로부터 매달아 설치될 수 있으며 또한, 상호 이격되어 나란히 설치된 상기 재배받침대(400) 또는 상기 다리(410) 사이에 부착하여 설치될 수 있다.
바람직하게, 본 발명의 일실시예에 따른 상기 이동장치(980)는, 상기 본체(100)가 상기 레일(190)을 따라 움직이도록 구현되었으나, 본 발명이 이에 한정된 것은 아니며, 라인 트레이서(line tracer)를 이용하는 방법이나 상기 제어장치(900) 또는 원격서버에 미리 저장된 경로를 따라 주행하는 방법 등 다양한 방법으로 상기 본체(100)를 이동시킬 수 있다.
바람직하게, 상기 분사노즐(240)의 공기분사는, 바람을 일으켜 꽃가루가 암술에 닿도록 하여 수분을 돕거나, 바람의 힘으로 과실 및 꽃의 위치를 이동시키고자할 때 사용된다.
바람직하게, 본 발명에서의 꽃솎기는 꽃 및 꽃눈을 솎아내는 것을 뜻한다.
도 3을 참조하여 본 발명 농업용 로봇시스템을 설명하면, 상기 본체(100)의 상·하 및 좌·우에 복수의 상기 갈바노 스캐너(210)와 상기 카메라(220)를 구비한 다양한 형상의 엔드이펙터(200)를 형성하면 보다 다양한 작목에 응용될 수 있고 작업의 속도와 효율 등을 더욱 개선할 수 있다.
도 4를 참조하여 상기 엔드이펙터(200)의 내부에 구비된 상기 갈바노 스캐너(210)는, 상기 레이저 빔을 반사하는 X축미러(212)와 Y축미러(214), 그리고 상기 X축미러(212)와 Y축미러(214)를 각각 회전시키는 X축미러모터(211)와 Y축미러모터(213)로 구성된다.
또한, 상기 엔드이펙터(200) 내부에 있는 상기 갈바노 스캐너(210)의 일단에는 상기 레이저 빔을 발생시키기 위한 상기 레이저 빔 발생기(250)가 설치되어있다.
도 5를 참조하여 상기 레이저 빔 발생기(250)에서 출력된 상기 레이저 빔(251)은, 상기 갈바노 스캐너(210)의 상기 X축미러(212) 및 Y축미러(214)를 통해 반사되면서 스캔 면(255)에 다양한 모양의 선이나 영역 그리고 점으로 출력될 수 있으며, 상기 레이저 빔 발생기(250)의 출력강도에 따라 레이저 빔으로 금속, 돌, 나무 그리고 섬유 등을 절단, 마킹, 버닝 그리고 광학적 표시 등을 할 수 있다.
상기 레이저 빔 발생기(250)는 상기 제어장치(900) 신호에 따라 상기 레이저 빔(251)의 강도를 조절하여 출력하며, 과병절단 시에는 상기 레이저 빔(251)의 강도를 강하게 하여 과병(501)을 절단하고, 꽃솎기 시에는 레이저 빔(251)의 강도를 약하게 하여 꽃의 암술을 익히거나 태워서 꽃 또는 꽃눈이 더 이상 기능을 하지 못하도록 한다.
또한, 상기 갈바노 스캐너(210)의 스캔 면(255)을 향하여 마주보게 설치된 상기 카메라(220)는, 상기 재배받침대(400)에서 재배되며 아래로 처져 있는 상기 과실, 꽃 그리고 꽃눈을 포함하는 화상신호를 상기 제어장치(900)의 화상취득부(910)로 전송한다(도 6 참조).
바람직하게, 본 발명의 일실시예에 따른 상기 레이저 빔 발생기(250)는 상기 갈바노 스캐너(210)의 일단에 설치되었지만, 본 발명은 이에 한정된 것은 아니다. 상기 레이저 빔 발생기(250)의 출력용량이 클 경우 상기 본체(100)에 설치되며, 이때에는 레이저 빔이 상기 갈바노 스케너(210)의 소정위치에 투입될 수 있도록 미러 또는 광섬유 등을 통하여 레이저 빔의 경로가 유도된다.
바람직하게, 본 발명에서는 상기 갈바노스캐너(210)를 구동하여 상기 레이저빔(251)을 스캔면(255)으로 스캔하였으나 본 발명은 이에 한정된 것은 아니다. 상기 갈바노스캐너(210) 대신 델타로봇(290) 또는 직교좌표로봇 또는 다관절로봇 등을 구비하여 상기 스캔면(255)의 특정위치로 상기 레이저빔(251)을 스캔하도록 엔드이펙트(200)를 형성할 수 있다(도 10 내지 도 12 참조).
도 6을 참조하여 본 발명의 일실시예에 따른 농업용 로봇시스템(10)의 제어장치(900)는,
적어도 하나의 상기 카메라(220)로부터 상기 과실 및 꽃을 포함하는 화상을 취득하는 상기 화상취득부(910)와, 상기 화상취득부(910)에서 취득한 화상으로부터 과실 및 과병 그리고 꽃을 분류하며 상기 과실, 과병 그리고 꽃의 상태와 개수를 산출하는 화상인식부(920)와, 상기 화상인식부(920)에서 산출한 상기 과실, 과병, 꽃, 꽃눈 그리고 꽃대의 상태와 개수에 따라 과병절단 및 꽃솎기 대상역역을 검출하는 대상영역검출부(930)와, 상기 카메라(220) 좌표와 상기 갈바노 스캐너(210) 좌표를 캘리브레이션(calibration)하고 상기 대상영역검출부(930)에 보정정보를 제공하는 캘리브레이션부(940)와, 상기 갈바노 스캐너(210)와 이송기(120) 그리고 이동장치(980) 등 본 발명의 일실시예에 따른 전반적인 동작을 제어하고 외부로 신호를 입력 및 출력하는 제어부(950)로 구성된다.
바람직하게, 상기 화상인식부(920)는, 상기 화상이 다수의 상기 카메라(220)로부터 취득한 화상일 경우에는 각 화상으로부터 분류 및 인식된 정보를 이용하여 상관관계 및 깊이 정보를 산출하는 것을 포함한다.
도 7 본 발명의 일실시예에 따른 농업용 로봇시스템(10)의 흐름도를 참조하여 작동상태를 살펴보면,
먼저, S10 단계에서는 작업개시 명령이 있는지를 판단한다. 작업개시 명령 방법은, 작업자가 상기 제어장치(900)의 입력장치(960)에 입력하는 방법과 미리 설정된 정보에 의한 방법 그리고 원격제어에 의한 방법 등이 있다. 여기서의 판단이 부정되면 작업개시 명령이 있을 때까지 S10 단계를 반복 실행하며 대기하고, 긍정이면 다음으로 이동한다.
다음 S20 단계에서는, 화상취득부(910)가 카메라(220) 입력신호로부터 화상을 취득하여 화상인식부(920)로 전달한다.
다음 S30 단계에서는 화상인식부(920)가 화상에서 과실, 과병, 꽃, 꽃눈 그리고 꽃대를 추출하고 인식하여 라벨링한 다음 대상영역검출부(930)로 전달한다(도 8 참조).
바람직하게, 화상인식 결과는, 분류값, 영역정보, 상관관계, 상태정보 그리고 라벨링 등을 포함한다.
바람직하게, 화상인식 조건은 작물의 품종 및 작업환경에 따라 다르며 사전에 설정 및 선택된다.
바람직하게, 과실은 과실과 과병으로 분류하여 인식하고, 꽃은 꽃잎과 암술로 분류하여 인식하며, 꽃눈은 꽃받침과 꽃잎으로 분류하여 인식한다.
바람직하게, 수확하는 적색과실은, 소정크기의 적색영역과, 상기 적색영역 내에 다수의 씨앗으로 인한 다수의 점이 일정하게 분포되어 있는 것을 특징으로 하여 인식한다.
바람직하게, 미숙과실은, 소정크기보다 큰 백색영역과, 적색영역이 소정크기보다 작고, 백색영역과 적색영역 내에 다수의 씨앗으로 인한 다수의 점이 일정하게 분포되어 있는 것을 특징으로 하여 인식한다.
바람직하게, 과병은, 과실의 위쪽을 덮고 있는 꽃받침(녹색) 상단 중간에서 시작하여 위쪽을 향해 소정범위의 기울기로 녹색의 긴 선 모양을 가지는 것을 특징으로 하여 인식한다.
바람직하게, 암술(노란색의 고주파영역 및 작고 많은 점을 포함하는 영역) 및 수술(노란색이며 암술보다 상대적으로 저주파 영역)이 추출되어 있고 그 가장자리가 꽃잎(흰색)이면 꽃으로 인식하며, 그리고 소정크기의 꽃받침(녹색)과 개화하지 않아 매우 작은 크기의 꽃잎(흰색)이 인접하거나 소정크기의 꽃받침 내에 상기 매우 작은 크기의 꽃잎이 포함되어 있으면 꽃눈으로 인식한다.
바람직하게 꽃대는 상·하 방향 또는 소정의 기울기로 녹색의 긴 선 모양과 다수의 과병으로 분기되는 것을 특징으로 하여 인식한다.
바람직하게, 본 발명의 일실시예에 따른 화상인식부(920)에서는 칼라(color)화상, 회색(gray)화상 그리고 흑백(black and white)화상 정보를 단독 또는 병행 이용하여 구현한다.
바람직하게, 본 발명의 일실시예에 따른 딸기의 인식은 적색과실과 미숙과실로 분류하여 인식하였으나, 본 발명은 이에 한정된 것은 아니다. 예를 들면, 기형 및 감염 딸기를 함께 인식하여 과일솎기기능을 할 수 있다.
다음 S40 단계 대상영역검출부(930)에서는, 사전 설정된 과병절단 및 꽃솎기 조건(색상, 수량, 상관관계, 위치 등)에 만족하는 과실 및 꽃에 대하여 작업 대상영역으로 검출한다(도 9 참조).
바람직하게, 과병절단 및 꽃솎기 조건은 작물의 품종 및 작업환경에 따라 다르며 사전에 설정을 한다. 예를 들면, 꽃대 하나 당 과실과 과병의 합이 4를 초과하지 못하게 설정되어 있을 때 꽃대의 끝부분(과실이 먼저 열리는 부문)에서부터 과실과 꽃을 합산하여 순서대로 4개만 남기고 나머지의 꽃이나 꽃눈은 솎아내기 작업을 한다(도 9 참조).
바람직하게, 대상영역(레이저 빔을 스캔할 영역)의 지정은, 화상범위 내에서 과실의 경우에는 과병절단 대상 과실의 과병 절단부분(기울기와 두께를 가지는 직선 형상)으로하고, 꽃의 경우에는 암술 전체부분(비정형의 속이 채워진 원 또는 타원 형상), 꽃눈의 경우에는 꽃받침 또는 꽃잎의 중심부분(속이 채워진 원 형상)을 대상영역으로 한다(도 9 참조).
바람직하게, 과병절단 시 과병의 길이 및 절단위치는 품종 및 작업환경에 따라 조절할 수 있다. 예를 들면, 과실 간의 충돌로 인한 과실 손상이 우려된다면 과병길이를 매우 짧게 절단하여 다른 과실을 찌르지 못하게 하거나 또는 과병길이가 가능한 길게 절단하여 다른 과실과 충돌하더라도 과병이 휘어지며 다른 과실에 손상을 주지 않도록 할 수 있다.
다음 S50 단계에서는, 대상영역검출부(930)가 검출한 과병절단 및 꽃솎기 대상영역이 있는지를 판단한다. 여기서 부정되면 S170 단계로 이동하여 실행하고, 긍정이면 다음 단계로 이동한다.
다음 S60 단계에서는, 다시 꽃솎기 작업이 있는지 판단하고, 부정이면 S90으로 이동하여 수행하고, 긍정이면 다음 단계로 이동한다.
다음 S70 단계에서는, 꽃솎기 작업에 맞는 레이저 빔 강도로 출력조절 한다.
다음 S80 단계에서는, 꽃솎기 작업의 실행단계로써 각각의 꽃솎기 대상영역에 대하여 정해진 순서에 따라 레이저 빔을 스캔하여 꽃솎기를 마친다.
다음 S90단계에서는, 과병절단할 대상영역이 있는지를 판단한다. 여기서 부정이면 S170 단계로 이동하여 수행하고, 긍정이면 다음 단계로 이동한다.
다음 S100 단계에서는, 레이저 빔을 과병절단 강도로 조정한다.
다음 S110 단계에서는, 과병절단 작업의 실행단계로써 대상영역검출부(930)에서 정해준 순서에 따라 하나의 과병에 레이저 빔을 스캔하여 절단한다.
다음 S120 단계에서는, 직전 S110단계의 과병절단 작업의 성공여부 판단(S140)과 나머지 과병들의 절단 위치를 보정을 위하여 화상을 다시 취득한다.
다음 S130 단계에서는, 상기S30 단계에서와 같은 방법으로 화상인식부(920)가 화상에서 과실 및 과병을 추출하고 인식하여 라벨링한 다음 S140 단계인 대상영역검출부(930)로 전송한다.
다음 S140 단계에서는, 상기 S110단계에서 수행한 과병절단 작업의 성공여부를 판단한다.
레이저 빔에 의해 과병이 절단되면 과실은 자중에 의해 아래로 떨어지기 때문에 이 S140 단계에서 해당 과실이 화면에 나타나지 않으면 과병절단 작업은 성공한 것이므로 긍정되어 다음 단계인 S150을 수행한다. 반대로, 부정이면 S100에서부터 S140까지의 단계를 반복하며 동일 과병절단 대상역역에 대하여 과병절단 작업을 다시 수행한다.
다음 S150단계에서는, 상기 S130의 화상인식 결과범위 내에서, 상기 S40 단계에서와 같은 방법으로 대상영역검출부(930)가 사전 설정된 과병절단 조건(색상, 상관관계, 위치 등)에 만족하는 과실에 대하여 작업 대상영역으로 검출한다.
다음 S160단계에서는, S150단계 대상영역검출부(930)에서 검출한 과병절단 대상영역이 있는지를 판단한다. 긍정이면 S100으로 이동하여 새로운 과병절단 작업을 수행하고, 부정이면 다음의 S170으로 이동한다.
다음 S170단계에서는, 작업종료 명령이 있는지를 판단하고, 부정이면 본체(100)를 다음 작업 위치로 이동시킨 후 상기 순서를 반복하여 수행하고, 반대로, 긍정이면 종료한다.
따라서, 본 발명에 따른 농업용 로봇시스템은 신속하고 정확한 작업이 가능해지고 노동인력 및 생산비용의 절감을 도모할 수 있을 뿐만 아니라, 작물의 손상과 바이러스나 병균의 전염을 막을 수 있고, 과실의 품질을 더욱 향상시킬 수 있다.
본 발명에 따른 농업용 로봇시스템은 과실을 수확하거나 꽃을 솎아내는 작업을 빠르게 할 수 있어서 인력과 비용을 크게 절감하고 작물의 손상과 바이러스나 병균의 전염 그리고 농약사용으로 인한 환경오염 등을 막을 수 있고 과실의 품질을 더욱 향상시키는데 이용된다.

Claims (2)

  1. 농업용 로봇시스템에 있어서,
    레이저 빔을 발생시키는 레이저 빔 발생기와;
    상기 레이저 빔 발생기에서 출력된 레이저 빔을 스캔시켜 과병절단 또는 꽃솎기하는 갈바노 스캐너와;
    상기 갈바노 스캐너의 스캔면을 향하여 마주보게 설치되며 과실 또는 꽃을 촬영하는 카메라와;
    상기 카메라로부터 상기 과실 또는 꽃을 포함하는 화상을 촬영하는 화상취득부와;
    상기 화상취득부에서 촬영한 화상에서 과실과 과병 그리고 꽃을 인식하는 화상인식부와;
    상기 화상인식부의 화상인식정보로부터 과병절단 또는 꽃솎기 대상영역을 검출하는 대상영역검출부로 구성되며,
    상기 대상영역검출부에서 검출한 대상영역 정보를 근거하여 상기 갈바노 스캐너로 상기 대상영역에 상기 레이저 빔을 스캔시켜 과병절단 또는 꽃솎기 또는 과병절단 및 꽃솎기 하는 것을 특징으로 하는 농업용 로봇시스템
  2. 청구항 1에 있어서, 갈바노스캐너 대신 직교좌표로봇 또는 다관절로봇 또는 델타로봇을 구비한 것을 특징으로 하는 농업용 로봇시스템
PCT/KR2014/002407 2013-03-29 2014-03-21 농업용 로봇시스템 WO2014157877A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/781,045 US20160050852A1 (en) 2013-03-29 2014-03-21 Agricultural robot system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0034049 2013-03-29
KR1020130034049A KR101374802B1 (ko) 2013-03-29 2013-03-29 농업용 로봇시스템

Publications (1)

Publication Number Publication Date
WO2014157877A1 true WO2014157877A1 (ko) 2014-10-02

Family

ID=50648828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/002407 WO2014157877A1 (ko) 2013-03-29 2014-03-21 농업용 로봇시스템

Country Status (3)

Country Link
US (1) US20160050852A1 (ko)
KR (1) KR101374802B1 (ko)
WO (1) WO2014157877A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105557334A (zh) * 2016-01-13 2016-05-11 浙江大学 番茄侧芽摘除装置
CN106584451A (zh) * 2015-10-14 2017-04-26 山东鲁能智能技术有限公司 一种基于视觉导航的变电站自动构图机器人及方法
CN115067099A (zh) * 2021-03-15 2022-09-20 西北农林科技大学 一种苹果疏花机械

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563945B2 (en) * 2012-07-05 2017-02-07 Bernard Fryshman Object image recognition and instant active response with enhanced application and utility
US9532508B1 (en) * 2015-04-27 2017-01-03 X Development Llc Tagging of fruit-producing flowers for robotic selective harvesting
EP3487282B1 (en) * 2016-07-19 2021-09-01 Octinion BVBA Device for picking fruit having an improved robot arm
US10238031B2 (en) * 2016-08-03 2019-03-26 D'arrigo Bros Co. Of California Harvester for leafy plants
US10225993B2 (en) * 2016-12-22 2019-03-12 Iron Ox, Inc. Method for automating transfer of plants within an agricultural facility
WO2018132814A1 (en) 2017-01-16 2018-07-19 Iron Ox, Inc. Method for automatically redistributing plants throughout an agricultural facility
US10813295B2 (en) 2017-04-17 2020-10-27 Iron Ox, Inc. Method for monitoring growth of plants and generating a plant grow schedule
ES2958765T3 (es) * 2017-05-04 2024-02-14 Arugga A I Farming Ltd Sistemas y métodos de tratamiento de plantas
KR102001517B1 (ko) 2017-06-09 2019-07-17 주식회사 하다(HADA Co.,Ltd) 농업생산 무인자동화를 위한 주행 로봇
US11102942B2 (en) * 2017-06-14 2021-08-31 Grow Solutions Tech Llc Systems and methods for removing defective seeds and plants in a grow pod
CN107295909A (zh) * 2017-08-23 2017-10-27 祁岳东 一种树木切割修剪装置
JP7174217B2 (ja) * 2017-11-07 2022-11-17 シブヤ精機株式会社 果菜収穫装置
EP3498076B1 (en) * 2017-12-15 2021-04-21 Soluciones Robóticas Agrícolas S.L. Machine for automatically harvesting fruits cultivated in rows
CN108347478B (zh) * 2018-01-24 2022-04-19 深圳市深创谷技术服务有限公司 自动切削果蔬的控制方法、果蔬自动切削设备及系统
US10292414B1 (en) * 2018-02-08 2019-05-21 Agrobot Inc. Apparatus and method for fruit decapping
JP6912656B2 (ja) * 2018-03-28 2021-08-04 本田技研工業株式会社 果菜収穫装置
US11238675B2 (en) * 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
US10936870B2 (en) 2018-07-05 2021-03-02 Iron Ox, Inc. Method for selectively deploying sensors within an agricultural facility
CN109272553A (zh) * 2018-09-03 2019-01-25 刘庆飞 用于棉花顶心摘除的定位方法、控制器及摘除装置
KR102158602B1 (ko) * 2018-10-01 2020-11-02 농업회사법인 주식회사 에이앤씨테크 딸기 수확 장치
WO2020089768A1 (en) * 2018-10-29 2020-05-07 Ffrobotics Ltd. Robotic fruit harvesting machine with fruit-pair picking and hybrid motorized-pneumatic robot arms
CA3117104A1 (en) * 2018-11-07 2020-05-14 Arugga A.I Farming Ltd Automated plant treatment systems and methods
CN109863874B (zh) * 2019-01-30 2021-12-14 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
US11376608B2 (en) * 2019-02-05 2022-07-05 Michael Faro Modular plant trimming system and method
KR102265860B1 (ko) * 2019-04-23 2021-06-16 이의정 무인 농작물 재배 및 수확을 위한 인공지능 로봇 시스템
US11285612B2 (en) * 2019-08-20 2022-03-29 X Development Llc Coordinating agricultural robots
CN110665668A (zh) * 2019-10-15 2020-01-10 河南恒安电力股份有限公司 一种可视化的带电作业绝缘喷枪
US11058052B2 (en) * 2019-10-17 2021-07-13 Dennis Matthew Kave Device and method for cutting vegetation with rotatable turret
CN110731189A (zh) * 2019-10-28 2020-01-31 湖北文理学院 远程果树修剪系统
CN112917481A (zh) * 2019-12-07 2021-06-08 西北农林科技大学 一种基于Delta机械臂的猕猴桃采摘装置
US11308323B2 (en) 2019-12-21 2022-04-19 Verdant Robotics, Inc. Micro-precision application of multiple treatments to agricultural objects
FR3110812B1 (fr) * 2020-06-02 2023-01-06 Exel Ind Procédé automatisé de sélection et de récolte de fruits et équipement mécanique mettant en œuvre le procédé
CN111771565B (zh) * 2020-07-30 2022-03-15 和县绿源蔬菜种植有限责任公司 一种茄果类蔬菜高质高效栽培设备
US20220110263A1 (en) * 2020-10-12 2022-04-14 Plan Apis LLC Apparatuses and methods for managing agricultural crops
CN112470735B (zh) * 2020-11-11 2022-07-22 江苏大学 基于三维定位的规则形状苗木自动修剪装置与方法
US20220159908A1 (en) * 2020-11-25 2022-05-26 James C. Young Laser trimming device and method
CN112273059B (zh) * 2020-11-26 2024-02-27 福建省中科生物股份有限公司 一种水培植物的采收装置及其使用方法
CN115067073A (zh) * 2021-03-15 2022-09-20 西北农林科技大学 一种自带摄像机的苹果疏花末端执行器
TWI760245B (zh) * 2021-06-09 2022-04-01 國立陽明交通大學 農業設備及其疏花操作平台和疏花方法
CN113748883B (zh) * 2021-07-16 2022-11-01 江苏苏润种业股份有限公司 一种辣椒无土种植大棚
CN113906902A (zh) * 2021-09-23 2022-01-11 台州知通科技有限公司 茶叶采集机及茶叶采集方法
KR20230053978A (ko) 2021-10-15 2023-04-24 주식회사 파밍이지텍 농업 로봇을 이용한 농업 관련 정보 처리 방법 및 시스템
CN113924966B (zh) * 2021-11-15 2023-03-17 中国农业科学院都市农业研究所 一种设置有自动化机械手的温室
WO2023170673A1 (en) * 2022-03-10 2023-09-14 Mata Agritech, Ltd. System and method for controlling plant reproductive structures thinning
US20230364796A1 (en) * 2022-05-10 2023-11-16 Mineral Earth Sciences Llc Adaptive scouting using multi-legged robots
CN115338875A (zh) * 2022-10-19 2022-11-15 宜宾职业技术学院 一种基于图像识别的茶叶智能采摘系统及方法
CN116034759B (zh) * 2023-03-15 2023-07-21 江苏省农业科学院 一种t型轨道梨园疏花装置、梨园装置及疏花方法
CN116171749B (zh) * 2023-04-24 2023-07-07 昆明兰露梦农业科技有限公司 一种葡萄剪枝机
CN117397661A (zh) * 2023-10-27 2024-01-16 佛山市天下谷科技有限公司 一种喷药机器人的喷药控制方法及喷药机器人

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101038581B1 (ko) * 2008-10-31 2011-06-03 한국전력공사 트랙형 이동 로봇을 이용하여 발전설비 시설물의 감시점검을 제공하기 위한 방법, 이동 로봇 시스템 및 운영방법
JP2011180103A (ja) * 2010-03-04 2011-09-15 Toyota Motor Corp 三次元測距装置及び移動ロボット
JP2012055995A (ja) * 2010-09-07 2012-03-22 Fuji Electric Co Ltd ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法
JP2012093104A (ja) * 2010-10-25 2012-05-17 Yaskawa Electric Corp 形状計測装置、ロボットシステムおよび形状計測方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1021800C2 (nl) * 2002-10-31 2004-05-06 Plant Res Int Bv Werkwijze en inrichting voor het maken van beelden van de kwantumefficientie van het fotosynthesesysteem met tot doel het bepalen van de kwaliteit van plantaardig materiaal en werkwijze en inrichting voor het meten, classificeren en sorteren van plantaardig materiaal.
US7854108B2 (en) * 2003-12-12 2010-12-21 Vision Robotics Corporation Agricultural robot system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101038581B1 (ko) * 2008-10-31 2011-06-03 한국전력공사 트랙형 이동 로봇을 이용하여 발전설비 시설물의 감시점검을 제공하기 위한 방법, 이동 로봇 시스템 및 운영방법
JP2011180103A (ja) * 2010-03-04 2011-09-15 Toyota Motor Corp 三次元測距装置及び移動ロボット
JP2012055995A (ja) * 2010-09-07 2012-03-22 Fuji Electric Co Ltd ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法
JP2012093104A (ja) * 2010-10-25 2012-05-17 Yaskawa Electric Corp 形状計測装置、ロボットシステムおよび形状計測方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106584451A (zh) * 2015-10-14 2017-04-26 山东鲁能智能技术有限公司 一种基于视觉导航的变电站自动构图机器人及方法
CN105557334A (zh) * 2016-01-13 2016-05-11 浙江大学 番茄侧芽摘除装置
CN115067099A (zh) * 2021-03-15 2022-09-20 西北农林科技大学 一种苹果疏花机械

Also Published As

Publication number Publication date
US20160050852A1 (en) 2016-02-25
KR101374802B1 (ko) 2014-03-13

Similar Documents

Publication Publication Date Title
WO2014157877A1 (ko) 농업용 로봇시스템
Tanigaki et al. Cherry-harvesting robot
KR20150124305A (ko) 농업용 로봇
US9462749B1 (en) Selectively harvesting fruits
US20060150602A1 (en) Method and apparatus for remotely assisted harvester
KR100784830B1 (ko) 벤치 재배형 딸기 수확 로봇 시스템
JP3131993B2 (ja) 果菜類収穫機等の視覚装置
WO2018068551A1 (zh) 一种乒乓球机器人及其控制方法
US20160243696A1 (en) Multi-robot crop harvesting machine
WO2006013593A1 (en) Automated fruit and vegetables picker
WO2020231119A2 (ko) 해로우를 갖는 경작장치
WO2015156469A1 (en) Three-dimensional (3d) emitting apparatus
DE69028484D1 (de) Ernte von feinen Produkten
CN110352702A (zh) 一种菠萝采收机器人系统及实现方法
KR20150105661A (ko) 농업용 로봇시스템
JP3054706B1 (ja) ナスの自動収穫方法及び装置
Arima et al. Strawberry harvesting robot on table-top culture
Feng et al. Design and test of harvesting robot for table-top cultivated strawberry
JP7174217B2 (ja) 果菜収穫装置
US5439490A (en) Method for use in a multiplication process of plants and a device for carrying out said method
WO2021256625A1 (ko) 잔디깎기 로봇을 포함하는 시스템의 제어방법
Liu et al. History and present situations of robotic harvesting technology: a review
CN110870420A (zh) 基于激光烧蚀的顶端优势去除装置
Klein et al. Proof-of-concept modular robot platform for cauliflower harvesting
WO2021054624A1 (ko) 식모장치를 이용한 인조잔디파일 식모방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14773396

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14781045

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 14773396

Country of ref document: EP

Kind code of ref document: A1