WO2021261246A1 - 農業用ロボット及び農業用ロボットの支援システム - Google Patents

農業用ロボット及び農業用ロボットの支援システム Download PDF

Info

Publication number
WO2021261246A1
WO2021261246A1 PCT/JP2021/021864 JP2021021864W WO2021261246A1 WO 2021261246 A1 WO2021261246 A1 WO 2021261246A1 JP 2021021864 W JP2021021864 W JP 2021021864W WO 2021261246 A1 WO2021261246 A1 WO 2021261246A1
Authority
WO
WIPO (PCT)
Prior art keywords
crop
traveling body
agricultural robot
sensing data
facility
Prior art date
Application number
PCT/JP2021/021864
Other languages
English (en)
French (fr)
Inventor
俊介 江戸
淳一 石川
実 平岡
倫祥 坂野
隼輔 宮下
Original Assignee
株式会社クボタ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020109079A external-priority patent/JP2022006698A/ja
Priority claimed from JP2020109078A external-priority patent/JP2022006697A/ja
Priority claimed from JP2020109077A external-priority patent/JP7404169B2/ja
Application filed by 株式会社クボタ filed Critical 株式会社クボタ
Priority to EP21829678.8A priority Critical patent/EP4173464A1/en
Publication of WO2021261246A1 publication Critical patent/WO2021261246A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/14Greenhouses
    • A01G9/143Equipment for handling produce in greenhouses
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30Robotic devices for individually picking crops
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Definitions

  • the present invention relates to an agricultural robot and a support system for an agricultural robot.
  • Patent Document 1 Conventionally, an agricultural robot disclosed in Patent Document 1 is known.
  • the agricultural robot disclosed in Patent Document 1 is provided with a manipulator capable of harvesting crops on a traveling body.
  • Japanese Patent Publication Japanese Patent Laid-Open No. 2011-229406
  • crops such as watermelon, melon, and pumpkin are generally cultivated (planted) in various places.
  • the agricultural robot is required to properly perform the work related to the crops.
  • it is necessary to grasp the growing condition of the crops.
  • the agricultural robot of Patent Document 1 searches for crops. Was difficult.
  • the agricultural robot is based on a traveling body, a working unit provided on the traveling body to perform work related to crops, an optical sensor provided on the traveling body, and sensing data obtained by the optical sensor.
  • a place management unit for determining whether or not the traveling body is located in the facility for cultivating the crop is provided, and the working unit determines that the traveling body is located in the facility by the place management unit. If so, work related to crops is performed based on the work unit.
  • the place management unit determines that the traveling body is in the facility when the sensing data includes a structure constituting the facility and the structure is the first profiling seen from the inside of the facility.
  • the place management unit determines that the traveling body is in the facility.
  • the agricultural robot includes a traveling control unit that controls the traveling of the traveling body based on the first profiling and the second profiling.
  • the agricultural robot includes a map generation unit that generates a map in the facility based on the first profiling and the crops contained in the second profiling.
  • the place management unit determines whether or not it is the first profiling based on the trained model and the sensing data.
  • the place management unit performs reinforcement learning by acquiring the sensing data when the traveling body travels in the facility.
  • the place management unit determines whether or not the traveling body is located in the facility based on the sensing data of the frame constituting the facility as the structure.
  • the support system for the agricultural robot includes a traveling body, a working unit provided on the traveling body to perform work related to crops, and an optical sensor provided on the traveling body, and the traveling body is located in the facility.
  • the support system for the agricultural robot includes a traveling control unit that controls the traveling of the traveling body based on the first profiling and the second profiling.
  • the support system for the agricultural robot includes the first profiling and a map generation unit that generates a map in the facility based on the crops contained in the second profiling.
  • the agricultural robot may have a traveling body that can move toward the cultivation position of the crop and a traveling body that is provided on the traveling body and that brings the tip side closer to the crop when the traveling body reaches the periphery of the cultivation position.
  • a tapping sensor including a possible manipulator, a striking mechanism provided on the tip end side of the manipulator and striking the crop, and a recording mechanism for collecting the sound when the crop is striked by the striking mechanism, and the above-mentioned. It is equipped with a collection device that collects sound data collected by the recording mechanism.
  • the agricultural robot includes at least a control device that controls the collecting device to move the traveling body toward the cultivation position of another crop that does not collect the data after collecting the data.
  • the agricultural robot includes an optical sensor provided on the traveling body, and the control device determines the distance between the crop and the traveling body in advance based on the sensing data obtained by the optical sensor. The traveling body is moved toward the cultivation position of the crop so as to reach the reference distance.
  • the agricultural robot includes a model generation unit that generates a model for estimating the growth state of a crop based on a plurality of data collected by the collection device.
  • the model generation unit performs reinforcement learning every time the collecting device acquires data.
  • the agricultural robot includes a robot hand that harvests by grasping the crop, a timing determination unit that determines whether or not the crop that has been hit is the harvest time, based on the model and the data. The robot hand harvests the crop that has been hit when the timing determination unit determines that it is the harvest time, and does not harvest the crop that has been hit when it is not determined to be the harvest time.
  • the collecting device is a storage device that stores the data or a communication device that transmits the data to an external terminal.
  • the support system for the agricultural robot is provided on the traveling body that can move toward the cultivation position of the crop and the traveling body, and when the traveling body reaches the periphery of the cultivation position, the tip side is used as the crop.
  • a tapping sensor including a manipulator that can be brought close to the manipulator, a striking mechanism provided on the tip side of the manipulator and striking the crop, and a recording mechanism that collects the sound when the crop is striked by the striking mechanism. It is a support system for an agricultural robot equipped with the above, and is equipped with a collecting device for collecting sound data collected by the recording mechanism.
  • the support system for the agricultural robot includes at least a control device that controls the collecting device to move the traveling body toward the cultivation position of another crop that has not collected the data after collecting the data. ..
  • the support system for the agricultural robot includes an optical sensor provided on the traveling body, and the control device sets the distance between the crop and the traveling body in advance based on the sensing data obtained by the optical sensor. The traveling body is moved toward the cultivation position of the crop so as to reach the specified reference distance.
  • the support system for agricultural robots includes a model generator that generates a model for estimating the growth status of crops based on a plurality of data collected by the collection device.
  • the support system for agricultural robots has a work control unit that controls a robot hand that can be harvested by grasping the crop, and whether the crop that has been hit is the harvest time based on the model and the data.
  • the work control unit is provided with a time determination unit for determining whether or not the crop is to be harvested, and the work control unit controls the robot hand to harvest the crop that has been hit when the timing determination unit determines that it is the harvest time. If it is not determined that it is the harvest time, the crop that has been hit is controlled not to be harvested.
  • Agricultural robots include a traveling body including a machine body and a traveling device that supports the machine body so as to be able to travel, a mounting body detachably attached to the machine body, an arm attached to the mounting body, and a tip end side of the arm.
  • the manipulator including the robot hand provided in the machine, the first optical sensor provided in the machine, the second optical sensor provided in either the arm or the robot hand, and the first optical sensor. It includes a crop search unit that searches for a crop based on the obtained first sensing data and the second sensing data obtained by the second optical sensor.
  • the crop search unit includes a position estimation unit that estimates the cultivation position of the crop in the facility where the crop is cultivated based on the first sensing data, and the traveling body around the cultivation position estimated by the position estimation unit. It includes a position specifying part that specifies the position of the crop, which is the position of the crop, based on the second sensing data when the position is set.
  • a control device for moving the traveling body around the cultivation position estimated by the position estimation unit is provided.
  • the position specifying unit identifies the crop position from the second sensing data obtained from the second optical sensor when the traveling body is moved around the cultivation position and the traveling body is stopped.
  • the position specifying unit calculates a first distance between the second optical sensor and the traveling body and the crop based on the second sensing data, and the crop is calculated based on the calculated first distance. Identify the location.
  • the second optical sensor includes two or more of a laser sensor, an image pickup device, and a spectroscopic analyzer.
  • the crop search unit has a second distance between the identification member and the traveling body. Based on the above, the cultivation position and the crop position are estimated.
  • the agricultural robot When the identification member for identifying the crop contains the identification information in either the first sensing data or the second sensing data, the agricultural robot has the first sensing data, the second sensing data, and the second sensing data. It is equipped with a map creation unit that creates a cultivation map including crop positions and cultivation information based on the identification information.
  • the work of the agricultural robot in the facility can be efficiently performed. Further, according to the present invention, it is possible to easily collect data for grasping the growth of crops and the like. Further, according to the present invention, it is possible to efficiently search for crops.
  • the agricultural robot 1 is a robot that performs work (agricultural work) on a crop 2 cultivated in a facility such as a house or a facility such as a house or a plant factory as shown in FIGS. 12 to 15.
  • the agricultural robot 1 works on, for example, heavy vegetables, fruits, etc., which are relatively heavy crops 2 such as watermelon, melon, and pumpkin.
  • the facility 100 includes a house 101 and an apparatus 102 installed inside the house 101 as a structure constituting the facility 100.
  • the house 101 includes a frame 110 and a covering material 111.
  • the frame 110 constitutes the frame of the facility 100 by combining various steel materials such as I-shaped steel, H-shaped steel, C-shaped steel, square steel, and round steel, and has a plurality of column members 110A. It includes a plurality of connecting members 110B.
  • the plurality of column members 110A are members standing up from the ground or the like, and are installed at predetermined intervals in the horizontal direction X1 and at predetermined intervals in the vertical direction Y1. ..
  • the connecting member 110B connects the upper ends of a plurality of support column members 110A separated in the lateral direction X1 to each other. Further, the connecting member 110B connects a plurality of support column members 110A separated in the vertical direction Y1 to each other.
  • the covering material 111 is a member having at least a translucent property capable of taking in sunlight, and is made of synthetic resin, glass, or the like. The covering material 111 covers the entire frame 110 from the outside of the frame 110, for example. In other words, the covering material 111 is arranged outside the support column member 110A and outside the connecting member 110B.
  • the device 102 is various devices used when cultivating the crop 2, and is a device capable of adjusting the temperature, humidity, air flow, etc. in the house 101.
  • the device 102 is a ventilation fan 102A, a circulation fan 102B, a heat exchange device 102C, and the like.
  • the ventilation fan 102A is installed on the entrance / exit 130 side of the house 101 to discharge the air inside the house 101 to the outside or take in the outside air into the house 101.
  • the circulation fan 102B is installed in the house 101 and circulates the air in the house 101 in a predetermined direction.
  • the heat exchange device 102C is a device capable of changing the temperature of the house 101, and is composed of, for example, a heat pump.
  • the above-mentioned device 102 is an example, and may be, and is not limited to, a irrigation device, a lighting device, a spray device, and the like.
  • the agricultural robot 1 performs various agricultural operations on the crop 2 cultivated at the cultivation place 105 in the facility 100, for example, harvesting the crop 2, fertilizer spraying, pesticide spraying, and the like.
  • the agricultural robot 1 is a self-supporting robot.
  • FIG. 8 shows a support system for an agricultural robot.
  • the agricultural robot 1 and the support system for the agricultural robot will be described in detail.
  • the direction indicated by the arrow A1 will be referred to as a forward direction
  • the direction indicated by the arrow A2 will be referred to as a backward direction
  • the direction indicated by the arrow A3 will be referred to as a front-back direction in FIGS. 1 and 2. Therefore, the direction indicated by the arrow B1 in FIG. 5 (front side in FIG. 1) is to the left, and the direction indicated by the arrow B2 in FIG. 5 (back side in FIG. 1) is to the right.
  • the horizontal direction orthogonal to the front-rear direction A3 will be described as the machine body width direction (direction of arrow B3 in FIG. 5).
  • the agricultural robot 1 has a traveling body 3 that autonomously travels.
  • the traveling body 3 has a machine body 6 and a traveling device 7 that supports the machine body 6 so as to be able to travel.
  • the airframe 6 has a main frame 6A and a motor frame 6B.
  • the main frame 6A has a pair of first frames 6Aa arranged at intervals in the machine width direction B3, and a pair of second frames 6Abs arranged below each first frame 6Aa at intervals. ing.
  • the first frame 6Aa and the second frame 6Ab are connected by a plurality of vertical frames 6Ac.
  • the vertical frame 6Ac includes the front part between the left first frame 6Aa and the left second frame 6Ab, the front part between the right first frame 6Aa and the right second frame 6Ab, and the left first frame 6Aa. It is provided between the rear part of the left second frame 6Ab and the rear part of the right first frame 6Aa and the right second frame 6Ab.
  • the left first frame 6Aa and the right first frame 6Aa are connected by a first horizontal frame 6Ad to a fifth horizontal frame 6Ah arranged between the first frames 6Aa.
  • the first horizontal frame 6Ad to the fifth horizontal frame 6Ah are arranged in parallel with an interval in the front-rear direction A3 from the front end to the rear end of the first frame 6Aa.
  • the front portions of the second frame 6Ab are connected to each other by the sixth horizontal frame 6Aj, and the rear portions of the second frame 6Ab are connected to each other by the seventh horizontal frame 6Ak.
  • the prime mover frame 6B is arranged on the lower side of the main frame 6A.
  • the prime mover frame 6B has a front frame 6Ba, a rear frame 6Bb, a plurality of connecting frames 6Bc, and a plurality of mounting frames 6Bd.
  • the upper part of the front frame 6Ba is attached to the front part of the left and right second frames 6Ab.
  • the upper part of the rear frame 6Bb is attached to the front part of the left and right second frames 6Ab.
  • the plurality of connecting frames 6Bc connect the lower portions of the front frame 6Ba and the rear frame 6Bb.
  • the plurality of mounting frames 6Bd are fixed to the central portion of the connecting frame 6Bc in the front-rear direction A3.
  • a prime mover (engine) E1 is attached to the attachment frame 6Bd.
  • a hydraulic pump P1 is attached to the prime mover E1.
  • the hydraulic pump P1 is driven by the prime mover E1.
  • the prime mover frame 6B is equipped with a hydraulic oil tank (not shown) for storing hydraulic oil discharged from the hydraulic pump P1.
  • a plurality of control valves (first control valve CV1 to fourth control valve CV4) for controlling the traveling device 7 are mounted on the main frame 6A (airframe 6).
  • the traveling device 7 is composed of a wheel-type (four-wheel type) traveling device having four wheels 8.
  • the traveling device 7 includes a first wheel 8La (left front wheel) arranged on the left side of the front part of the machine body 6, a second wheel 8Ra (right front wheel) arranged on the right side of the front part of the machine body 6, and the machine body 6. It is equipped with a third wheel 8Lb (left rear wheel) arranged on the left side of the rear part and a fourth wheel 8Rb (right rear wheel) arranged on the right side of the rear part of the fuselage 6.
  • the traveling device 7 may be composed of a wheel-type traveling device having at least three wheels 8. Further, the traveling device 7 may be a crawler type traveling device.
  • the traveling device 7 has a wheel support 9 that supports the wheels 8.
  • the number of wheel supports 9 corresponds to the number of wheels 8. That is, the traveling device 7 has a first wheel support 9La that supports the first wheel 8La, a second wheel support 9Ra that supports the second wheel 8Ra, a third wheel support 9Lb that supports the third wheel 8Lb, and a first wheel support 7. It has a fourth wheel support 9Rb that supports the four wheels 8Rb.
  • the wheel support 9 has a traveling frame 10, a steering cylinder C1, a first elevating cylinder C2, a second elevating cylinder C3, and a traveling motor M1. ..
  • the traveling frame 10 has a main support 10A, a swing frame 10B, and a wheel frame 10C.
  • the main support 10A is possibly supported by the machine body 6 around the vertical axis (the axis extending in the vertical direction).
  • the main support 10A is rotatably supported by a support bracket 11 fixed to the machine body 6 via a first support shaft 12A having an axial center extending in the vertical direction.
  • the support bracket 11 that pivotally supports the first wheel support 9La is provided on the left side of the front portion of the airframe 6, and the support bracket 11 that pivotally supports the second wheel support 9Ra is the front portion of the airframe 6.
  • the support bracket 11 provided on the right side and pivotally supporting the third wheel support 9Lb is provided on the rear left side of the machine body 6, and the support bracket 11 for pivotally supporting the fourth wheel support 9Rb is provided on the rear right side of the machine body 6. ing.
  • the swing frame 10B is supported by the main support 10A so as to be swingable up and down.
  • the swing frame 10B has an upper portion rotatably supported by the main support 10A via a second support shaft 12B about a horizontal axis (an axial center extending in the machine width direction B3).
  • the front upper part of the swing frame 10B of the first wheel support 9La and the second wheel support 9Ra is pivotally supported by the main support 10A
  • the swing frame 10B of the third wheel support 9Lb and the fourth wheel support 9Rb is The upper rear part is pivotally supported by the main support 10A.
  • the wheel frame 10C is supported by the swing frame 10B so as to be swingable up and down. Specifically, the wheel frame 10C is rotatably supported by the swing frame 10B via a third support shaft 12C around a horizontal axis.
  • the rear part of the wheel frame 10C of the first wheel support 9La and the second wheel support 9Ra is pivotally supported by the rear part of the swing frame 10B, and the wheel frame 10C of the third wheel support 9Lb and the fourth wheel support 9Rb is front.
  • the portion is pivotally supported by the front portion of the swing frame 10B.
  • the steering cylinder C1, the first elevating cylinder C2, and the second elevating cylinder C3 are composed of hydraulic cylinders.
  • the steering cylinder C1 is provided between the machine body 6 and the main support body 10A. Specifically, one end of the steering cylinder C1 is pivotally supported by a cylinder bracket 14A fixed to the central portion of the first frame 6Aa in the front-rear direction A3, and the other end of the steering cylinder C1 is fixed to the main support 10A. It is pivotally supported by the cylinder bracket 14B.
  • the traveling frame 10 swings around the first support shaft 12A, and the direction of the wheels 8 (first wheel 8La to fourth wheel 8Rb) can be changed (steered). ..
  • each wheel 8 can be steered independently.
  • the first link mechanism 15A has a first link 15a and a second link 15b.
  • One end of the first link 15a is pivotally supported by the main support 10A, and one end of the second link 15b is pivotally supported by the swing frame 10B.
  • the other ends of the first link 15a and the second link 15b are pivotally supported by the other ends of the first elevating cylinder C2.
  • the second elevating cylinder C3 is pivotally supported by the front portion of the swing frame 10B, and the other end is pivotally supported by the second link mechanism 15B.
  • the second link mechanism 15B has a first link 15c and a second link 15d.
  • One end of the first link 15c is pivotally supported by the swing frame 10B, and one end of the second link 15d is pivotally supported by the wheel frame 10C.
  • the other ends of the first link 15c and the second link 15d are pivotally supported by the other ends of the second elevating cylinder C3.
  • the wheels 8 can be moved up and down in parallel by combining the vertical swing of the swing frame 10B by the first lift cylinder C2 and the vertical swing of the wheel frame 10C by the second lift cylinder C3.
  • the traveling motor M1 is formed by a hydraulic motor.
  • the traveling motor M1 is provided corresponding to each wheel 8. That is, the traveling device 7 drives the traveling motor M1 for driving the first wheel 8La, the traveling motor M1 for driving the second wheel 8Ra, the traveling motor M1 for driving the third wheel 8Lb, and the fourth wheel 8Rb. It has a traveling motor M1.
  • the traveling motor M1 is arranged inside the body width direction B3 of the wheels 8 and is attached to the wheel frame 10C.
  • the traveling motor M1 is driven by the hydraulic oil discharged from the hydraulic pump P1 and is capable of forward and reverse rotation. By reversing the traveling motor M1 in the forward and reverse directions, the rotation of the wheels 8 can be switched between the forward rotation direction and the reverse rotation direction.
  • the second wheel support 9Ra, the third wheel support 9Lb, and the fourth wheel support 9Rb have the same components as the components constituting the first wheel support 9La.
  • the second wheel support 9Ra is configured symmetrically with the first wheel support 9La.
  • the third wheel support 9Lb has a form in which the second wheel support 9Ra is rotated by 180 ° around the center axis in the vertical direction passing through the center of the machine body 6.
  • the fourth wheel support 9Rb has a form in which the first wheel support 9La is rotated by 180 ° around the center axis.
  • the hydraulic actuator mounted on the first wheel support 9La is controlled by the first control valve CV1.
  • the hydraulic actuator mounted on the second wheel support 9Ra is controlled by the second control valve CV2.
  • the hydraulic actuator mounted on the third wheel support 9Lb is controlled by the third control valve CV3.
  • the hydraulic actuator mounted on the fourth wheel support 9Rb is controlled by the fourth control valve CV4.
  • the first wheel 8La to the fourth wheel 8Rb can be steered independently. Further, the first wheel 8La to the fourth wheel 8Rb can be raised and lowered independently.
  • the traveling body 3 can be steered by steering the first wheel 8La to the fourth wheel 8Rb.
  • the traveling body 3 can be advanced by rotating the first wheel 8La to the fourth wheel 8Rb in the forward direction, and the traveling body 3 can be moved backward by reversing the rotation.
  • the traveling body 3 can be raised and lowered by raising and lowering the first wheel 8La to the fourth wheel 8Rb.
  • the aircraft 6 can be tilted forward or backward by moving up and down.
  • the aircraft 6 can be tilted forward or backward by moving up and down.
  • the machine 6 By moving up and down, the machine 6 can be inclined so that one side of the body width direction B3 is higher than the other side.
  • the agricultural robot 1 includes a manipulator (working unit) 4 mounted on the traveling body 3.
  • the manipulator (working unit) 4 is a part for performing work, and is, for example, a device capable of harvesting at least crop 2 in the present embodiment.
  • the manipulator 4 is provided on the mounting body 16 detachably mounted on the traveling body 3 (machine body 6), the arm 17 mounted on the mounting body 16, and the arm 17. It is equipped with a robot hand 18 capable of gripping a crop (object) 2.
  • the mounting body 16 is provided at the rear portion of the traveling body 3 in the present embodiment.
  • the mounting body 16 may be provided on the front portion of the traveling body 3. That is, it suffices if the traveling body 3 is provided so as to be offset to one side from the central portion in the front-rear direction A3. Further, in the present embodiment, since the agricultural robot 1 advances the traveling body 3 forward to perform the harvesting work, the mounting body 16 is biased to the opposite direction of the traveling direction, which is the direction opposite to the traveling direction. It is provided.
  • the mounting body 16 is formed in a box shape and is removable from the traveling body 3.
  • a rotating frame 21 is erected on the mounting body 16.
  • the rotation frame 21 can rotate around the rotation axis J1 by the rotation motor M2 provided inside the mounting body 16.
  • the robot hand 18 can be moved (changed in position) in the circumferential direction about the rotation axis J1.
  • the arm 17 is supported by the rotating frame 21 so as to be vertically swingable and can be bent and extended in the middle portion in the longitudinal direction.
  • the arm 17 has a main arm 29 and a sub arm 30.
  • the main arm 29 is pivotally supported by the rotating frame 21 so as to be able to swing up and down, and can be bent and extended.
  • the main arm 29 includes a first arm portion 31 swingably supported by the rotating frame 21 and a second arm portion 32 swingably supported by the first arm portion 31.
  • the second arm portion 32 swings with respect to the first arm portion 31 so that it can be bent and stretched.
  • the base side 31a of the first arm portion 31 is pivotally supported by the arm bracket 26.
  • the first arm portion 31 has a first arm frame 31L and a second arm frame 31R.
  • the first arm frame 31L and the second arm frame 31R are arranged side by side in the body width direction B3 and are connected to each other by a connecting pipe 31A or the like.
  • the upper part of the arm bracket 26 is inserted between the base side 31a of the first arm frame 31L and the second arm frame 31R, and via an arm pivot 33A (referred to as the first arm pivot) having an axial center extending in the body width direction B3.
  • the base side 31a of the first arm frame 31L and the second arm frame 31R is rotatably supported by the arm bracket 26 around the axis of the first arm pivot 33A.
  • the first arm frame 31L and the second arm frame 31R are formed of a hollow member.
  • the length of the first arm portion 31 is formed to be shorter than the length of the traveling body 3 (machine body 6) in the front-rear direction A3.
  • the first arm portion 31 has a cylinder mounting portion 31b on the base side 31a and closer to the tip end side 31c than the first arm pivot 33A.
  • a first arm cylinder (first hydraulic cylinder) C4 is provided over the cylinder mounting portion 31b and the cylinder mounting portion 27a of the cylinder bracket 27.
  • the first arm cylinder C4 is driven by hydraulic oil discharged from the hydraulic pump P1 provided on the traveling body 3 to expand and contract. By expanding and contracting the first arm cylinder C4, the first arm portion 31 swings up and down.
  • the robot hand 18 can be raised and lowered by swinging the first arm portion 31 (arm 17) up and down.
  • the first arm cylinder C4 is provided with a first stroke sensor that detects the stroke of the first arm cylinder C4.
  • a pivot member 31B is fixed to the tip end side 31c of the first arm portion 31.
  • the base portion 31Ba is inserted between the first arm frame 31L and the second arm frame 31R and fixed to the first arm frame 31L and the second arm frame 31R.
  • a cylinder stay 34 is attached to the lower surface side of the base portion 31Ba of the pivot member 31B.
  • the distal end side 31Bb of the pivot member 31B projects forward from the first arm frame 31L and the second arm frame 31R.
  • the length of the second arm portion 32 is formed to be longer than the length of the first arm portion 31.
  • the base side 32a of the second arm portion 32 is pivotally supported by the distal end side 31Bb of the pivot member 31B.
  • the second arm portion 32 has a third arm frame 32L and a fourth arm frame 32R.
  • the third arm frame 32L and the fourth arm frame 32R are arranged side by side in the machine width direction B3 and are connected to each other by a plurality of connecting plates 35.
  • the third arm frame 32L and the fourth arm frame 32R are formed of a hollow member.
  • the tip end side 31Bb of the pivot member 31B is inserted between the base side 32a of the third arm frame 32L and the fourth arm frame 32R.
  • the third arm frame 32L and the fourth arm frame 32R (second arm portion 32) are pivotally supported by the pivot member 31B by an arm pivot (referred to as a second arm pivot) 33B having an axial center extending in the body width direction B3. ing.
  • a cylinder mounting portion 32c is provided on the base side 32a of the second arm portion 32 and closer to the tip end side 32b than the second arm pivot 33B.
  • a second arm cylinder (second hydraulic cylinder) C5 is provided over the cylinder mounting portion 32c and the cylinder stay 34.
  • the second arm cylinder C5 is driven by hydraulic oil discharged from the hydraulic pump P1 provided on the traveling body 3 to expand and contract.
  • the main arm 29 bends and stretches (bends and stretches).
  • the main arm 29 is linear in the most extended state, but may be slightly bent in the most extended state.
  • the robot hand 18 can be moved in the perspective direction with respect to the traveling body 3. Specifically, the robot hand 18 can be moved in a direction away from the traveling body 3 by extending the second arm cylinder C5, and the robot hand 18 can be moved closer to the traveling body 3 by contracting the second arm cylinder C5. Can be moved to.
  • the second arm cylinder C5 is provided with a second stroke sensor that detects the stroke of the second arm cylinder C5.
  • the sub arm 30 is provided on the second arm portion 32 so as to be able to protrude and retract. Therefore, the length of the arm 17 can be expanded and contracted by projecting and retracting the sub-arm 30.
  • the sub-arm 30 is formed linearly by a square pipe.
  • the sub-arm 30 is supported so as to be movable in the longitudinal direction between the tip end side (front portion) of the third arm frame 32L and the fourth arm frame 32R. Further, the sub-arm 30 is arranged between the connecting plates 35 facing each other and can be fixed to the connecting plate 35 by a fixing tool such as a bolt.
  • a protrusion 30a that abuts on the third arm frame 32L is provided on one side surface of the sub arm 30, and a protrusion 30a that abuts on the fourth arm frame 32R is provided on the other side surface.
  • the protrusion 30a can suppress the rattling of the sub arm 30.
  • the sub-arm 30 is submerged between the third arm frame 32L and the fourth arm frame 32R at the most retracted position (last retracted position).
  • the sub arm 30 may slightly protrude from the second arm portion 32 at the rearmost retracted position.
  • a suspension plate 37 is fixed to the tip end side of the sub arm 30.
  • the robot hand 18 is pivotally supported by the suspension plate 37 and suspended (see FIG. 1). That is, the robot hand 18 is swingably attached to the tip end side of the sub arm 30.
  • a third stroke sensor that measures (detects) the amount of protrusion of the sub arm 30 from the second arm portion 32 is provided on the tip end side of the second arm portion 32.
  • the robot hand 18 has a base member 18A and a plurality of gripping claws 18B.
  • a connecting piece 63 is provided on the upper surface side of the base member 18A.
  • the connecting piece 63 is pivotally supported by the suspension plate 37. That is, the robot hand 18 is suspended from the arm 17.
  • the plurality of gripping claws 18B are swingably attached to the lower surface side of the base member 18A.
  • the robot hand 18 can grip the crop 2 between the gripping claws 18B and the gripping claws 18B by swinging the plurality of gripping claws 18B (see FIG. 2), and the gripped crop 2 can be gripped. It is possible to release it.
  • the agricultural robot 1 includes optical sensors 5A and 5B.
  • the optical sensors 5A and 5B are a CCD camera equipped with a CCD (Charge Coupled Devices) image sensor, a CMOS camera equipped with a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and an infrared camera. Is.
  • the optical sensors 5A and 5B are image pickup devices (CCD camera, CMOS camera, infrared camera).
  • the optical sensors 5A and 5B may be laser sensors, that is, lidars (LiDAR: Light Detection And Ringing).
  • the laser sensor can construct a 3D map around the vehicle 3 by irradiating it with pulsed infrared rays, etc. millions of times per second and measuring the time it takes for it to bounce back. It is a sensor that can be used.
  • the optical sensors 5A and 5B are image pickup devices (CCD camera, CMOS camera, infrared camera).
  • the optical sensor 5A is attached to the rotating frame 21. Specifically, it is attached to the upper part of the arm bracket 26 via the support column 40.
  • the optical sensor 5A is not limited to this, and may be attached to the traveling body 3 or the like. Further, the optical sensors 5A may be provided at a plurality of locations. That is, the agricultural robot 1 may have a plurality of optical sensors 5A.
  • the optical sensor 5A can photograph the surroundings of the traveling body 3, and acquires information on the surroundings of the traveling body 3 by photographing.
  • the optical sensor 5B is attached to the tip end side of the second arm portion 32. By imaging the crop 2, the optical sensor 5B can acquire quality information such as the size, shape, color, pattern (striped pattern in the case of watermelon), and scratches of the crop 2.
  • the agricultural robot 1 includes a tapping sound sensor 50C.
  • the tapping sound sensor 50C is a sensor that acquires the tapping sound when the crop 2 is hit (the crop 2 is hit). As shown in FIG. 7, the tapping sound sensor 50C is provided on the robot hand 18 (base member 18A).
  • the tapping sound sensor 50C has a striking mechanism 51 and a recording mechanism 52.
  • the striking mechanism 51 has a striking member 51A capable of advancing and retreating with respect to the crop 2 gripped by the gripping claw 18B.
  • the striking member 51A is connected to an actuator 51B that moves the striking member 51A in the axial direction.
  • the actuator 51B is, for example, electric, and by moving the striking member 51A in the axial direction in response to a control signal, the crop 2 is impacted and a striking sound is generated.
  • the recording mechanism 52 has a microphone (highly directional microphone), and records (records) the tapping sound generated by striking the crop 2 with the striking member 51A.
  • the agricultural robot 1 has a control device 41.
  • the control device 41 is, for example, a microcomputer provided with a CPU (Central Processing Unit), an EEPROM (Electrically Erasable Programmable Read-Only Memory), or the like.
  • Optical sensors 5A and 5B, a tapping sound sensor 50C, a traveling motor M1 and a rotating motor M2 are connected to the control device 41.
  • a plurality of control valves 42 are connected to the control device 41.
  • the control valve 42 includes a first control valve 42A, a second control valve 42B, a third control valve 42C, a fourth control valve 42D, and a fifth control valve 42E.
  • the first control valve 42A is a valve that controls the steering cylinder C1
  • the second control valve 42B is a valve that controls the first elevating cylinder C2
  • the third control valve 42C is a valve that controls the second elevating cylinder C3.
  • the fourth control valve 42D is a valve that controls the first arm cylinder C4
  • the fifth control valve 42E is a valve that controls the second arm cylinder C5.
  • the first control valve 42A, the second control valve 42B, the third control valve 42C, the fourth control valve 42D, and the fifth control valve 42E are solenoid valves that operate based on, for example, a control signal from the control device 41.
  • first control valve 42A, the second control valve 42B, the third control valve 42C, the fourth control valve 42D, and the fifth control valve 42E are solenoid valves (three-position switching) that are switched to a plurality of positions by a control signal. Solenoid valve).
  • the control device 41 When the control device 41 outputs a control signal to the first control valve 42A, the first control valve 42A is switched to a predetermined position according to the control signal.
  • the control device 41 When the control device 41 outputs a control signal to the second control valve 42B, the second control valve 42B is switched to a predetermined position according to the control signal. Further, when the control device 41 outputs a control signal to the third control valve 42C, the third control valve 42C is switched to a predetermined position according to the control signal.
  • the control device 41 When the control device 41 outputs a control signal to the fourth control valve 42D, the fourth control valve 42D is switched to a predetermined position according to the control signal.
  • the control device 41 When the control device 41 outputs a control signal to the fifth control valve 42E, the fifth control valve 42E is switched to a predetermined position according to the control signal.
  • An oil passage 46 is connected to the first control valve 42A, the second control valve 42B, the third control valve 42C, the fourth control valve 42D, and the fifth control valve 42E, and hydraulic oil is discharged to the oil passage 46.
  • the hydraulic pump P1 is connected.
  • the first control valve 42A the supply of hydraulic oil to the bottom side or the rod side of the steering cylinder C1 is switched, and the steering cylinder C1 expands and contracts.
  • the second control valve 42B the supply of hydraulic oil to the bottom side or the rod side of the first elevating cylinder C2 is switched, and the first elevating cylinder C2 expands and contracts.
  • the third control valve 42C the supply of hydraulic oil to the bottom side or the rod side of the second elevating cylinder C3 is switched, and the second elevating cylinder C3 expands and contracts.
  • the agricultural robot 1 has a traveling control unit 41A.
  • the travel control unit 41A is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the travel control unit 41A controls the travel device 7. That is, the traveling control unit 41A controls the steering cylinder C1 (first control valve 42A) and the traveling motor M1.
  • the travel control unit 41A outputs a control signal to the first control valve 42A to expand and contract the steering cylinder C1 to change the steering direction of the travel device 7 (airframe 6).
  • the travel control unit 41A outputs a control signal to the travel motor M1 to change the rotation speed or rotation direction of the travel motor M1 to change the speed of the travel device 7 (machine 6) and the travel device 7 (machine 6). ) Change the direction of travel.
  • the traveling control unit 41A may control the raising / lowering, tilting, etc. of the machine body 6. For example, the traveling control unit 41A outputs a control signal to the second control valve 42B and expands / contracts the first elevating cylinder C2 to elevate and change the inclination of the machine body 6. Further, the traveling control unit 41A outputs a control signal to the third control valve 42C and expands / contracts the second elevating cylinder C3 to elevate and change the inclination of the machine body 6.
  • the agricultural robot 1 can independently travel to the facility 100 and the like.
  • the agricultural robot 1 has a work control unit 41B.
  • the work control unit 41B is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the work control unit 41B controls the manipulator (work unit) 4. That is, the work control unit 41B controls the first arm cylinder C4, the second arm cylinder C5, and the rotary motor M2.
  • the work control unit 41B outputs a control signal to the fourth control valve 42D and expands / contracts the first arm cylinder C4 to swing the first arm unit 31.
  • the work control unit 41B outputs a control signal to the fifth control valve 42E and expands / contracts the second arm cylinder C5 to swing the second arm unit 32. Further, the work control unit 41B rotates the manipulator (work unit) 4 by changing the rotation direction of the rotation motor M2 by outputting a control signal to the rotation motor M2.
  • the work control unit 41B can move the robot hand 18 to an arbitrary (desired) position. Specifically, the robot hand 18 moves in the circumferential direction around the rotation axis J1 due to the rotation of the rotation frame 21, the robot hand 18 moves up and down due to the vertical swing of the first arm portion 31, and the second arm portion.
  • the robot hand 18 can be moved to a target position by moving the robot hand 18 in the perspective direction with respect to the traveling body 3 by swinging the 32.
  • the work control unit 41B controls the actuator 51B (striking member 51A). For example, by outputting a control signal to the actuator 51B, the actuator 51B is operated, and the hitting member 51A controls to hit the crop 2 (hit control).
  • the agricultural robot 1 may perform traveling, work, etc. while determining the position of the traveling body 3 (airframe 6) based on the sensing data obtained by the optical sensor 5A.
  • the agricultural robot 1 has a place management unit 41C.
  • the place management unit 41C is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the place management unit 41C determines whether or not the traveling body 3 (airframe 6) is located in the facility 100 for cultivating the crop 2 based on the sensing data obtained by the optical sensor 5A.
  • the optical sensor 5A is an image pickup device
  • the sensing data is an captured image (image data).
  • the optical sensor 5A is a laser sensor (rider) it is scan data including the distance and direction from the optical sensor 5A to the object (object) sensed.
  • the location management unit 41C refers to the captured image H1 obtained by the optical sensor 5A.
  • the place management unit 41C determines whether or not the referenced captured image H1 contains a structure constituting the facility 100.
  • the location management unit 41C executes image processing on the captured image H1 to analyze whether or not the captured image H1 includes a structure constituting the facility 100.
  • the place management unit 41C analyzes whether or not the captured image H1 of the frame 110 (support member 110A, connecting member 110B), ventilation fan 102A, circulation fan 102B, heat exchange device 102C, etc. of the house 101 is included.
  • the place management unit 41C includes a structure (frame 110, support column member 110A, connecting member 110B, ventilation fan 102A, circulation fan 102B, heat exchange device 102C), the structure shown in the captured image H1. It is determined whether the shape of is the same as the shape (first profiling) R1 seen from the inside of the facility 100. In the place management unit 41C, in the structure of the captured image H1, the shape (profiling) obtained from the contour, unevenness, surface color (gradation) of the structure is the same as that of the first profiling R1 seen from inside the facility 100. Determine if they are the same.
  • the location management unit 41C determines whether or not the shape of the structure shown in the captured image H1 is the first profiling R1 based on the trained model and the captured image H1.
  • the trained model is a model obtained by preparing a plurality of sensing data (captured images H1) and deep learning by artificial intelligence (AI), and is a shape of a structure extracted from a predetermined captured image H1. Is a model that can determine whether the shape of the structure is as seen from the inside of the facility 100.
  • a plurality of sensing data are measured by the optical sensor 5A while the agricultural robot 1 is driven in the passage 106 between the cultivation sites 105 in the facility 100.
  • Perform data acquisition work to acquire the captured image H1).
  • a plurality of sensing data are taken while running the agricultural robot 1 along the cultivation place 105 from the work start point P11 to the work end point P12. H1) is acquired.
  • a plurality of sensing data (captured image H1) are stored in the control device 41, deep learning by artificial intelligence (AI) is executed, and a trained model is constructed (model construction work).
  • AI artificial intelligence
  • the agricultural robot 1 constructs the trained model by acquiring a plurality of sensing data (captured images H1), but the plurality of sensing data (captured images) are constructed.
  • H1) may be transmitted to a computer other than the agricultural robot 1, a model may be constructed by the computer, and the constructed trained model may be stored in the control device 41.
  • the trained model is constructed by using the captured image H1 when the agricultural robot 1 is actually driven in the facility 100, but the structure (frame 110, support member 110A, connection) is constructed.
  • the captured images of the member 110B, the ventilation fan 102A, the circulation fan 102B, and the heat exchange device 102C) may be imported into the control device 41 or a computer from various databases, and a trained model may be constructed using the captured images of the captured database. ..
  • the sensing data (captured image H1) for constructing the trained model is divided into groups at the time when the crop 2 is cultivated in the facility 100, and the grouped sensing data.
  • a trained model may be constructed for each (captured image H1).
  • the first group G1 is sensing data (captured image H1) in the facility 100 before cultivating crop 2, and the sensing data (captured image H1) includes crop 2's. The image is not included.
  • the second group G2 is the initial sensing data (captured image H1) in which the crop 2 is cultivated, and the sensing data (captured image H1) includes the initial image in which the crop 2 has grown.
  • the third group G3 is the medium-term sensing data (captured image H1) in which the crop 2 is cultivated, and the sensing data (captured image H1) includes the medium-term image in which the crop 2 has grown.
  • the fourth group G4 is the late-stage sensing data (captured image H1) in which the crop 2 is cultivated, and the sensing data (captured image H1) includes the late-stage image in which the crop 2 has grown.
  • the trained model (first model) obtained from the sensing data of the first group G1 is a model for determining the shape of the structure when the crop 2 does not exist in the facility 100.
  • the trained model (second model) obtained from the sensing data of the second group G2 is a model for determining the shape of the structure at the initial stage of cultivation of the crop 2.
  • the trained model (third model) obtained from the sensing data of the third group G3 is a model for determining the shape of the structure when the crop 2 is cultivated in the middle stage.
  • the trained model (fourth model) obtained from the sensing data of the fourth group G4 is a model for determining the shape of the structure when the cultivation of the crop 2 is in the late stage.
  • the place management unit 41C applies the current sensing data (captured image H1) to the trained models (first model to fourth model), and the shape of the structure of the current sensing data (captured image H1).
  • the place management unit 41C has the agricultural robot 1 (traveling body 3) in the facility 100. If it is determined that the structure is located inside and the shape of the structure of the sensing data (captured image H1) is different from the shape of the first profiling R1, the agricultural robot 1 (traveling body 3) is outside the facility 100. Judge that it is located.
  • the sensing data (captured image H1) includes the second profiling of the cultivation place 105 of the crop 2, it is determined that the traveling body 3 (aircraft 6) is in the facility 100. You may.
  • the place management unit 41C shown in FIG. 8 includes the second profiling R2 of the cultivation place 105 of the crop 2 in addition to the first profiling R1 in the sensing data (captured image H1). If so, it is determined that the agricultural robot 1 (traveling body 3) is in the facility 100.
  • the second profiling R2 is the shape of the crop 2 or the shape of the crop 2 and the cultivation place 105.
  • the first profiling R1 and the second profiling R2 are used in determining whether or not the agricultural robot 1 (traveling body 3) is in the facility 100, for example, as shown in FIG. 10B, the structure.
  • a trained model (fifth model) for determining the shape including the object and the crop 2 and a trained model (sixth model) for determining the shape including the structure, the crop 2 and the cultivation place 105 are used.
  • the fifth model and the sixth model may be constructed from the sensing data of the second group G2 to the fourth group G4.
  • the place management unit 41C applies the sensing data (captured image H1) to the fifth model or the sixth model, and the sensing data (captured image H1) matches the first profiling R1 and the second profiling R2 (the shape is). If it is determined that it is the same), the location management unit 41C determines that the agricultural robot 1 (traveling body 3) is located in the facility 100. On the other hand, the place management unit 41C applies the sensing data (captured image H1) to the fifth model or the sixth model after traveling or starting the work, and the sensing data (captured image H1) is used for the first profiling R1 and the second. If it does not match the profiling R2, the location management unit 41C determines that the agricultural robot 1 (traveling body 3) is not located in the facility 100.
  • the place management unit 41C may have, for example, a trained model (seventh model) for determining the shape of the crop 2.
  • the seventh model can be constructed using the captured image H1 containing at least crop 2.
  • the 7th model may be constructed from the above-mentioned sensing data of the 2nd group G2 to the 4th group G4, or a database in which the captured images of the crop 2 are imported into the control device 41 or a computer from various databases and imported. It may be constructed using the captured image of the above, and is not limited thereto.
  • the agricultural robot 1 (traveling body 3) is placed in the facility 100 by the sensing data (captured image H1) obtained by the optical sensor 5A. Although it is determined whether or not it is located, in addition to this, the agricultural robot 1 (traveling body 3) has the shape (first profiling) and the first profiling of the structure included in the sensing data (captured image H1). 2 The self-driving is performed based on the profiling (the shape of the crop 2 or the shape of the crop 2 and the shape of the cultivation place 105).
  • the traveling control unit 41A determines that the agricultural robot 1 (traveling body 3) is located in the facility 100, the traveling control unit 41A outputs a control signal or the like to the traveling motor M1 to cause the agricultural robot 1 to operate.
  • the running of (running body 3) is started.
  • the travel control unit 41A extracts the passage 106 from the sensing data (captured image H1) as shown in FIGS. 16A and 16B.
  • the traveling control unit 41A has a steering cylinder C1 (first control) so that the agricultural robot 1 (traveling body 3) travels along the passage 106 (cultivation site 105) extracted during traveling (after the traveling starts).
  • the valve 42A) is controlled.
  • the determination of the passage 106 may be determined, for example, in the sensing data (captured image H1) to be between adjacent cultivation sites 105, or may be determined to be between crops 2, and is not limited.
  • the location management unit 41C uses at least the first model to the sixth model to obtain the sensing data (captured image H1) obtained by the optical sensor 5A during the traveling. Which of the frame 110, the strut member 110A, the connecting member 110B, the ventilation fan 102A, the circulation fan 102B, and the heat exchange device 102C is applied to any of the models and included in the captured image H1 during traveling.
  • a stop command is output to the traveling control unit 41A.
  • the travel control unit 41A acquires the stop command, the travel control unit 41A automatically stops the travel of the agricultural robot 1 (traveling body 3).
  • the place management unit 41C applies the traveling sensing data (captured image H1) to at least one of the first model to the sixth model, and in the captured image H1, the structure, the crop 2, and the cultivation place 105.
  • the positional relationship of each of the passages 106 is determined, a place without obstacles (a place where traveling is possible) is extracted in front of or behind the agricultural robot 1 (traveling body 3), and the agricultural robot 1 (traveling) is extracted.
  • the traveling route (traveling direction, speed, etc.) of the body 3) may be automatically created.
  • the travel control unit 41A controls the travel so as to move along the travel route created by the location management unit 41C.
  • the place management unit 41C applies the traveling sensing data (captured image H1) to at least one of the first model to the sixth model, and in the captured image H1, the structure, the crop 2, and the cultivation place 105.
  • the position (traveling body position) of the agricultural robot 1 (traveling body 3) in the facility 100 may be estimated from the positional relationship of each of the passages 106.
  • the control device 41 acquires the captured image H1 obtained by the traveling optical sensor 5A. Then, the acquired image H1 may be used for reinforcement training of the trained models (first model to sixth model).
  • the agricultural robot 1 may have a map generation unit 41D.
  • the map generation unit 41D is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the map generation unit 41D is based on the first profiling (shape of the structure) obtained from the captured image H1 and the second profiling (shape of crop 2 or shape of crop 2 and shape of cultivation site 105). , Generate a map within the facility 100.
  • the map generation unit 41D has a plurality of sensing data (captured image H1) when the agricultural robot 1 is run along the cultivation place 105 from the work start point P11 to the work end point P12. ).
  • the map generation unit 41D estimates the distance (horizontal distance) Ln between the estimated imaging position Qn and the subject (structure, crop 2, passage 106) depicted in the captured image H1n, and as shown in FIG.
  • a map F1 including the plane contour of the house 101, the position and shape of the crop 2, and the position and shape of the passage 106 as a structure is generated.
  • the map F1 created by the map generation unit 41D is stored (stored) in the control device 41.
  • the map F1 may be transmitted to an external device (mobile terminal, personal computer, server) or the like by using a communication device provided in the agricultural robot 1, or the map F1 may be output to the travel control unit 41A. By outputting to the work control unit 41B, it may be used for traveling and work.
  • the location management unit 41C applies the sensing data (captured image H1) after the start of travel to at least one of the first model to the sixth model, and in the captured image H1, the structure.
  • the position (traveling body position) of the agricultural robot 1 (traveling body 3) in the facility 100 is estimated from the positional relationship of the crop 2, the cultivation place 105, and the passage 106, and the traveling control unit 41A is the traveling vehicle body position. Compared with the map F1, the agricultural robot 1 (traveling body 3) is controlled to move along the passage 106.
  • the work control unit 41B refers to the sensing data (captured image H1) of the optical sensor 5A in the self-sustained traveling of the agricultural robot 1 (traveling body 3).
  • the work control unit 41B applies the sensing data (captured image H1) to the seventh model, and determines whether or not the crop 2 exists around the agricultural robot 1 (running body 3). That is, when the work control unit 41B includes the profiling of the crop 2 (third profiling) in the sensing data (captured image H1), the work control unit 41B determines that it exists around the agricultural robot 1 (traveling body 3), and the second 3 If profiling is not included, it is determined that it does not exist around the agricultural robot 1 (traveling body 3).
  • the work control unit 41B When the crop 2 is reflected in the sensing data (captured image H1) (when the third profiling is included), the work control unit 41B has the first arm cylinder C4, the second arm cylinder C5, toward the crop 2.
  • the robot hand 18 is moved by controlling the rotation motor M2.
  • the work control unit 41B harvests the crop 2 by, for example, grasping the crop 2 with the robot hand 18 and moving the gripped crop 2 to the passage 106 side.
  • the work control unit 41B outputs a control signal to the actuator 51B in a state where the robot hand 18 is brought close to the crop 2 (in a gripped state), and as shown in FIG. 7, the striking member 51A sends the robot hand 18 to the crop 2. Give a blow to it.
  • FIG. 17 shows a flow of a series of operations of an agricultural robot.
  • the agricultural robot 1 is made to travel along the passage 106 in the facility 100, and the sensing data (image taken image H1) detected by the optical sensor 5A during the traveling is acquired (S1). That is, the data acquisition work is performed by running the agricultural robot 1 in the facility 100 (S1).
  • the model construction work is performed using the control device 41 to construct the trained models (first model to seventh model) (S2). If the agricultural robot 1 repeatedly performs the data acquisition operation S1 to acquire a large amount of sensing data (captured image H1), the accuracy of the model can be improved.
  • the agricultural robot 1 After the trained model is constructed (S2), when the agricultural robot 1 is used for work, the agricultural robot 1 is allowed to run independently (S3), and the sensing data (captured image) detected by the optical sensor 5A during the independent running is performed. H1) is acquired (S4). After acquiring the captured image H1 during self-sustaining driving, the location management unit 41C applies the captured image H1 to the first model to the seventh model, and the agricultural robot 1 (traveling body 3) is located in the facility 100. It is determined whether or not it is present (S5). When it is determined that the place management unit 41C is located in the facility 100 (S5, Yes), the agricultural robot 1 autonomously travels in the facility 100 based on the captured image H1 sensed by the optical sensor 5A (S5, Yes). S6: Independent running).
  • the location management unit 41C creates a travel route based on the sensing data (captured image H1) detected by the optical sensor 5A, and the travel control unit 41A uses the travel route created by the location management unit 41C. Control of running (control of self-sustaining running) is performed accordingly.
  • the location management unit 41C estimates the position (traveling body position) of the agricultural robot 1 (traveling body 3) based on the sensing data (image taken image H1), and the traveling control unit 41A determines. The position of the traveling vehicle body is compared with the map F1, and the self-sustaining traveling is controlled so that the agricultural robot 1 (traveling body 3) moves along the passage 106.
  • the traveling control unit 41A extracts the passage 106 from the sensing data (image taken image H1) detected by the optical sensor 5A by image processing, and the agricultural robot 1 (traveling body 3) passes the passage 106.
  • the self-sustaining running is controlled so as to move along the line.
  • the work control unit 41B refers to the sensing data (image captured image H1), and when the crop 2 is present around the agricultural robot 1, the crop 2 is present.
  • the robot hand 18 is controlled to perform operations such as harvesting and tapping sound (S7). It should be noted that the position of the crop may be determined from the map F1 with reference to the map F1 stored in the control device 41 during self-sustaining traveling.
  • the travel control unit 41A stops the self-sustaining travel S6.
  • the captured image H1 has been described as an example of the sensing data, but the sensing data is not limited to the captured image H1 and is scan data obtained by sensing with a laser sensor (rider). You may.
  • scan data is used, the description of the scan data will be omitted because the description of the embodiment using the scan data can be obtained by replacing the captured image H1 in the above-described embodiment with "scan data".
  • the agricultural robot 1 includes a traveling body 3, a working unit 4 provided on the traveling body 3 for performing work related to crops, optical sensors 5A and 5B provided on the traveling body 3, and optical sensors 5A and 5B.
  • a place management unit 41C for determining whether or not the traveling body 3 is located in the facility 100 for cultivating the crop 2 based on the obtained sensing data is provided, and the working unit 4 is traveled by the place management unit 41C. When it is determined that the body 3 is located in the facility 100, the work related to the crop 2 is performed based on the working unit 4.
  • the support system for the agricultural robot 1 includes a traveling body 3, a working unit 4 provided on the traveling body 3 to perform work related to crops 2, and optical sensors 5A and 5B provided on the traveling body 3. It is a support system of an agricultural robot 1 that performs work related to a crop 2 based on the work unit 4 when the 3 is located in the facility 100, and is a crop based on the sensing data obtained by the optical sensors 5A and 5B.
  • a place management unit 41C for determining whether or not the traveling body 3 is located in the facility 100 for cultivating the 2 is provided.
  • the sensing data allows the agricultural robot 1 to easily grasp the situation in the facility 100, and the work of the agricultural robot in the facility 100 can be efficiently performed.
  • the place management unit 41C determines that the traveling body 3 is in the facility 100 when the sensing data includes the structure constituting the facility 100 and the structure is the first profiling seen from the inside of the facility 100. According to this, it is possible to easily grasp whether or not the traveling body 3 is located in the facility 100 by the first profiling of the structure seen from the inside of the facility 100.
  • the place management unit 41C determines that the traveling body 3 is in the facility 100 when the sensing data includes the second profiling of the cultivation place 105 of the crop 2 in addition to the first profiling. According to this, it is possible to easily determine whether the state of the cultivation place 105, that is, even if the crop 2 cultivated in the cultivation place 105 changes due to growth, is in the facility 100.
  • the agricultural robot 1 or the support system for the agricultural robot 1 includes a traveling control unit 41A that controls the traveling of the traveling body 3 based on the first profiling and the second profiling. According to this, the traveling control unit 41A appropriately sets the traveling body 3 in the facility 100 while referring to the profiling (first profiling and second profiling) when the structure in the facility 100 and the cultivation place 105 are sensed. Can be run on.
  • the agricultural robot 1 or the support system of the agricultural robot 1 includes a map generation unit 41D that generates a map in the facility 100 based on the first profiling and the crop 2 included in the second profiling. According to this, the inside of the facility 100 can be easily made into a map (map), and the position of the crop 2, the position of the structure, and the like can be grasped.
  • the place management unit 41C determines whether or not it is the first profiling based on the trained model and the sensing data. According to this, the shape of the structure can be easily grasped.
  • the place management unit 41C performs reinforcement learning by acquiring sensing data when the traveling body 3 travels in the facility 100. According to this, it is possible to perform reinforcement learning of the trained model only by running the facility 100 by the traveling body 3, and it is possible to construct the trained model into a model with higher accuracy.
  • the place management unit 41C determines whether or not the traveling body 3 is located in the facility 100 based on the sensing data of the frame 100 constituting the facility 100 as a structure. According to this, it is possible to easily grasp whether the traveling body 3 is in the facility 100 by the sensing data of the frame 100.
  • the agricultural robot 1 has a control device 41.
  • the control device 41 is, for example, a microcomputer provided with a CPU (Central Processing Unit), an EEPROM (Electrically Erasable Programmable Read-Only Memory), or the like.
  • Optical sensors 5A and 5B, a tapping sound sensor 50C, a traveling motor M1 and a rotating motor M2 are connected to the control device 41.
  • a plurality of control valves 42 are connected to the control device 41.
  • the control valve 42 includes a first control valve 42A, a second control valve 42B, a third control valve 42C, a fourth control valve 42D, and a fifth control valve 42E.
  • the first control valve 42A is a valve that controls the steering cylinder C1
  • the second control valve 42B is a valve that controls the first elevating cylinder C2
  • the third control valve 42C is a valve that controls the second elevating cylinder C3.
  • the fourth control valve 42D is a valve that controls the first arm cylinder C4
  • the fifth control valve 42E is a valve that controls the second arm cylinder C5.
  • the first control valve 42A, the second control valve 42B, the third control valve 42C, the fourth control valve 42D, and the fifth control valve 42E are solenoid valves that operate based on, for example, a control signal from the control device 41.
  • first control valve 42A, the second control valve 42B, the third control valve 42C, the fourth control valve 42D, and the fifth control valve 42E are solenoid valves (three-position switching) that are switched to a plurality of positions by a control signal. Solenoid valve).
  • the control device 41 When the control device 41 outputs a control signal to the first control valve 42A, the first control valve 42A is switched to a predetermined position according to the control signal.
  • the control device 41 When the control device 41 outputs a control signal to the second control valve 42B, the second control valve 42B is switched to a predetermined position according to the control signal. Further, when the control device 41 outputs a control signal to the third control valve 42C, the third control valve 42C is switched to a predetermined position according to the control signal.
  • the control device 41 When the control device 41 outputs a control signal to the fourth control valve 42D, the fourth control valve 42D is switched to a predetermined position according to the control signal.
  • the control device 41 When the control device 41 outputs a control signal to the fifth control valve 42E, the fifth control valve 42E is switched to a predetermined position according to the control signal.
  • An oil passage 46 is connected to the first control valve 42A, the second control valve 42B, the third control valve 42C, the fourth control valve 42D, and the fifth control valve 42E, and hydraulic oil is discharged to the oil passage 46.
  • the hydraulic pump P1 is connected.
  • the first control valve 42A the supply of hydraulic oil to the bottom side or the rod side of the steering cylinder C1 is switched, and the steering cylinder C1 expands and contracts.
  • the second control valve 42B the supply of hydraulic oil to the bottom side or the rod side of the first elevating cylinder C2 is switched, and the first elevating cylinder C2 expands and contracts.
  • the third control valve 42C the supply of hydraulic oil to the bottom side or the rod side of the second elevating cylinder C3 is switched, and the second elevating cylinder C3 expands and contracts.
  • the agricultural robot 1 has a traveling control unit 41A.
  • the travel control unit 41A is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the travel control unit 41A controls the travel device 7. That is, the traveling control unit 41A controls the steering cylinder C1 (first control valve 42A) and the traveling motor M1.
  • the travel control unit 41A outputs a control signal to the first control valve 42A to expand and contract the steering cylinder C1 to change the steering direction of the travel device 7 (airframe 6).
  • the travel control unit 41A outputs a control signal to the travel motor M1 to change the rotation speed or rotation direction of the travel motor M1 to change the speed of the travel device 7 (machine 6) and the travel device 7 (machine 6). ) Change the direction of travel.
  • the traveling control unit 41A may control the raising / lowering, tilting, etc. of the machine body 6. For example, the traveling control unit 41A outputs a control signal to the second control valve 42B and expands / contracts the first elevating cylinder C2 to elevate and change the inclination of the machine body 6. Further, the traveling control unit 41A outputs a control signal to the third control valve 42C and expands / contracts the second elevating cylinder C3 to elevate and change the inclination of the machine body 6.
  • the agricultural robot 1 can independently travel to the facility 100 and the like.
  • the agricultural robot 1 has a work control unit 41B.
  • the work control unit 41B is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the work control unit 41B controls the manipulator (work unit) 4. That is, the work control unit 41B controls the first arm cylinder C4, the second arm cylinder C5, and the rotary motor M2.
  • the work control unit 41B outputs a control signal to the fourth control valve 42D and expands / contracts the first arm cylinder C4 to swing the first arm unit 31.
  • the work control unit 41B outputs a control signal to the fifth control valve 42E and expands / contracts the second arm cylinder C5 to swing the second arm unit 32. Further, the work control unit 41B rotates the manipulator (work unit) 4 by changing the rotation direction of the rotation motor M2 by outputting a control signal to the rotation motor M2.
  • the work control unit 41B can move the robot hand 18 to an arbitrary (desired) position. Specifically, the robot hand 18 moves in the circumferential direction around the rotation axis J1 due to the rotation of the rotation frame 21, the robot hand 18 moves up and down due to the vertical swing of the first arm portion 31, and the second arm portion.
  • the robot hand 18 can be moved to a target position by moving the robot hand 18 in the perspective direction with respect to the traveling body 3 by swinging the 32.
  • the work control unit 41B controls the actuator 51B (striking member 51A). For example, by outputting a control signal to the actuator 51B, the actuator 51B is operated, and the hitting member 51A controls to hit the crop 2 (hit control).
  • the agricultural robot 1 includes a collecting device 43.
  • the collecting device 43 collects sound data (sound data) collected by the microphone (recording mechanism 52) when the crop 2 is hit by the hitting member 51A.
  • the collecting device 43 includes a storage device composed of a non-volatile memory or the like and storing sound data.
  • the collecting device 43 collects the waveform H10 collected by the microphone (recording mechanism 52) when the crop 2 is hit as sound data.
  • the collecting device 43 acquires the sound (noise) around the crop 2 to be hit by the microphone (recording mechanism 52) before or after hitting the crop 2, and the acquired noise.
  • the collecting device 43 determines whether or not the waveform H10 contains a waveform (noise waveform) corresponding to the noise by using the analysis result, and if the waveform H10 contains the noise, the noise waveform is obtained from the waveform H10.
  • the removed waveform is collected as the waveform H10 at the time of impact. That is, the collecting device 43 performs a process of removing noise when the crop 2 is hit.
  • the noise estimation model (first model) is used to determine (estimate) whether or not the waveform is a noise waveform.
  • the noise estimation model is a model that estimates whether or not noise is caused by changes in waveform amplitude, frequency, and waveform.
  • the noise reduction model collects the sounds in the facility 100 under the condition that the crop 2 is not hit, inputs the collected sounds to a computer, and performs deep learning by artificial intelligence on the computer. It is a model built by doing.
  • the ambient sounds before and after the impact of the crop 2 are collected in advance, and the noise waveform is analyzed and estimated from the ambient sounds using the noise estimation model (first model).
  • the noise estimation model (second model) for determining whether or not to use is used.
  • the noise estimation model (second model) is constructed by inputting the waveform H10 at the time of tapping into a computer and performing deep learning by artificial intelligence in the computer.
  • the noise estimation model (second model) also estimates the noise waveform in the waveform H10 based on the amplitude, frequency, and change of the waveform of the waveform H10.
  • the collecting device 43 removes the noise waveform from the waveform H10 by using the estimation result.
  • the agricultural robot 1 (traveling body 3) autonomously travels in the facility 100 under the control of the traveling control unit 41A.
  • the work control unit 41B hits the crop 2 with the hitting member 51A, and the collecting device 43 collects (preserves) the waveform H10 when the crop 2 is hit. ..
  • the agricultural robot 1 is brought closer to the periphery of the crop 2a by the control of the control device 41 (travel control unit 41A).
  • the agricultural robot 1 approaches the crop 2a, the crop 2a is hit by the hit control of the work control unit 41B or the like, and the sound data at the time of hitting the crop 2a is collected by the collecting device 43.
  • the control device 41 controls to move the traveling body 3 toward another crop 2b for which the sound data is not collected, and the agricultural robot. Bring 1 closer to the perimeter of crop 2b.
  • the control device 41 moves the agricultural robot 1 (running body 3) toward the cultivation position Dn based on the sensing data obtained by the optical sensor 5A.
  • the sensing data is an captured image (image data).
  • the sensing data is scan data including the distance and direction from the optical sensor 5A to the object (object) sensed.
  • the control device 41 refers to the sensing data (captured image H1), and the crop 2 is included in the captured image H1 by matching the feature points of the sensing data (captured image H1). Judge whether or not.
  • the relative distance L10 between the crop 2 and the agricultural robot 1 (running body 3) is calculated (see FIG. 20).
  • the control device 41 determines that the captured image H1 contains the crop 2, for example, as shown in FIG. 16A, the image (vertical pixel, horizontal pixel) of the crop 2 which is the subject included in the captured image H1.
  • the size of H2 is compared with the size of a preset reference frame (vertical pixel, horizontal pixel) F10.
  • the control device 41 determines that the relative distance L10 is longer than the reference distance L11 determined corresponding to the reference frame F10.
  • the control device 11 estimates that the crop 2 is located farther than the position from the agricultural robot 1 (running body 3) to the reference distance L11.
  • the control device 41 determines that the relative distance L10 is shorter than the reference distance L11. That is, the control device 41 estimates that the crop 2 is closer than the position from the agricultural robot 1 (running body 3) to the reference distance L11.
  • the control device 41 compares the size of the image H2 of the crop 2 with the size of the reference frame F10, and is based on the ratio of the size of the image H2 of the crop 2 to the size of the reference frame F10 and the reference distance L11. , The relative distance L10 between the current agricultural robot 1 and the crop 2 is obtained. That is, the control device 41 calculates the distance (moving distance) at which the relative distance L10 matches the reference distance L11 at the current position of the agricultural robot 1, and the traveling control unit 41A calculates the agricultural robot 1 (moving distance) by the moving distance. Move the traveling body 3) forward or backward.
  • the reference distance L11 is set shorter than the distance between the robot hand 18 and the traveling body 3 when the tip side (robot hand 18) of the manipulator (working unit) 4 is farthest from the traveling body 3. There is. That is, in the manipulator (working unit) 4, the reference distance L11 is set to be shorter than the stroke (operating range) from the traveling body 3 to the tip end side of the robot hand 18.
  • the travel control unit 41A of the crop is such that the relative distance L10 between the crop 2 and the agricultural robot 1 (traveling body 3) when the image H2 of the crop 2 and the reference frame F10 match is constant. Move toward the cultivation position Dn.
  • the position of the lens with respect to the image sensor is not changed (focusing is not performed).
  • the agricultural robot 1 (running body 3) is placed on the crop 2 at a position where the relative distance L10 between the crop 2 and the agricultural robot 1 (running body 3) is constant by using the captured image H1.
  • the control device 41 uses the scan data to use the current agricultural robot 1 (the current agricultural robot 1 (rider).
  • the distance between the traveling body 3) and the crop 2 is calculated, and the agricultural robot 1 (running body 3) is moved forward or backward so that the calculated relative distance L10 matches the reference distance L11.
  • the agricultural robot 1 When the relative distance L10 between the agricultural robot 1 (traveling body 3) and the crop 2 reaches the reference distance L11, that is, the agricultural robot 1 is around the cultivation position Dn of the predetermined crop 2. When it reaches, the tip side (robot hand 18) of the manipulator (working unit) 4 is brought close to a predetermined crop to control the impact.
  • the collecting device 43 stores sound data when a predetermined crop 2 is hit.
  • the identification information for identifying the crop 2 (crops 2a, 2b, 2c ...) and the sound data are associated with each other as tapping sound information.
  • an identification member for recognizing identification information such as a two-dimensional bar code and a marker is installed in the vicinity of the crop 2 in association with the crop 2, and the identification member (two-dimensional bar code, marker) is installed at the time of tapping. ) Can be obtained by imaging with an image pickup device.
  • the collecting device 43 may store the identification information, the sound data, and the tapping time (month, day, time) in association with each other as tapping information.
  • an agricultural robot 1 is provided with a time measuring device (timer), and the time at the time of tapping (beating time) is measured by the timing device, and the timed tapping time, identification information, and sound data are measured. Is associated and stored as tapping sound information.
  • the collecting device 43 performs impact control by the work control unit 41B, and as shown in FIG. 22C, the sound data when the crop 2 is beaten by the impact control (at the time of harvesting).
  • the sound data), the identification information, and the tapping time may be associated and stored as tapping information.
  • the tapping time can be regarded as the harvest time (harvest time).
  • the collecting device 43 may store it as sound data at the harvest time.
  • the agricultural robot 1 may have a model generation unit 41E.
  • the model generation unit 41E is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the model generation unit 41E generates a model for estimating the growth state of the crop based on the plurality of sound data collected by the collection device 43.
  • the model generation unit 41E acquires the tapping sound information (sound data, identification information) of FIG. 22A.
  • the model generation unit 41E has the loudness of the tapping sound (waveform amplitude), the pitch of the tapping sound (frequency), and the degree of change in the tapping waveform in the plurality of sound data (waveform W10).
  • the model generation unit 41E acquires not only a plurality of sound data (waveform W10) but also the tapping time associated with the sound data shown in FIG. 22B, and uses the tapping time as the tapping time. Based on this, a plurality of sound data (waveform W10) are grouped in the early, middle, and late stages of cultivation.
  • the model generation unit 41E constructs a trained growth model (second growth model) that estimates the growth status by performing deep learning on a plurality of sound data belonging to each of the groups (early, middle, and late). May be good.
  • the model generation unit 41E acquires sound data, identification information, and harvest time as tapping sound information, performs deep learning in the sound data corresponding to the harvest time, and performs deep learning in the sound data corresponding to the harvest time, and the harvest time as the growth state.
  • a trained model (third growth model) that estimates the above is constructed.
  • the sound data when the sound is struck is collected while the agricultural robot 1 (running body 3) is running in the facility 100, but the sound data is repeatedly collected for the crop 2. You may go.
  • the model generation unit 41E may perform reinforcement learning when the agricultural robot 1 (running body 3) is run to make a tapping sound (every time the collecting device 43 acquires sound data).
  • the agricultural robot 1 may have a timing determination unit 41F.
  • the timing determination unit 41F is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the crop 2 that has been hit is the harvest time based on the learned model (first growth model, second growth model, third growth model) and the sound data at the time of work (at the time of hitting). Judge whether or not.
  • the agricultural robot 1 is run in the passage 106 between the cultivation sites 105.
  • the control device 41 travel control unit 41A, work control unit 41B
  • the sensing data captured image H1, scan data
  • the agricultural robot 1 is run along the cultivation place 105 up to P12.
  • control device 41 travel control unit 41A, work control unit 41B
  • the travel control unit 41A temporarily stops traveling.
  • the work control unit 41B controls the manipulator 4 to bring the robot hand 18 closer to the crop 2.
  • the work control unit 41B performs impact control with the robot hand 18 close to the crop 2, and impacts the crop 2.
  • the collecting device 43 acquires and stores the sound data at the time of hitting, while the timing determination unit 41F applies the sound data at the time of hitting to at least one of the first growth model, the second growth model, and the third growth model. do.
  • the timing determination unit 41F outputs the harvest time of the crop 2.
  • the crop 2 is harvested by the robot hand 18 under the control of the work control unit 41B.
  • the time determination unit 41F determines that it is not the harvest time of the crop 2, and the robot is controlled by the work control unit 41B. By keeping the hand 18 away from the hit crop 2, the crop 2 is not harvested.
  • the timing determination unit 41F is the crop 2. It is determined that it is the harvest time, and the crop 2 is harvested by the robot hand 18 under the control of the work control unit 41B.
  • the timing determination unit 41F determines that it is not the harvest time of the crop 2, and is controlled by the work control unit 41B. By moving the robot hand 18 away from the hit crop 2, the crop 2 is not harvested.
  • the timing determination unit 41F is the harvest time of the crop 2.
  • the robot hand 18 harvests the crop 2 under the control of the work control unit 41B.
  • the time determination unit 41F determines that it is not the harvest time of the crop 2, and the robot hand 18 is controlled by the work control unit 41B. By keeping it away from the hit crop 2, the crop 2 is not harvested.
  • the agricultural robot 1 is run from the work start point P11 to the work end point P12 along the cultivation place 105, and the sound data of the crop 2 hit on the way is applied to the trained model to apply the harvest time. Only the crop 2 that is judged to be the harvest time by the trained model is harvested.
  • the timing determination unit 41F gives a blow based on the learned model (first growth model, second growth model, third growth model) and sound data at the time of work (at the time of hitting). Although it was determined whether or not the crop 2 was harvested, it may be determined whether or not it is harvested without using the trained model.
  • the time determination unit 41F refers to a database (past harvest record information) that summarizes the sound data of the time corresponding to the harvest time in the collection device 43, and refers to the loudness (waveform) of the tapping sound of the sound data of the harvest time. Amplitude of), pitch of tapping sound (frequency), average of change degree of waveform of tapping sound (timbre), etc. are calculated. Further, the timing determination unit 41F determines the loudness (waveform amplitude) of the tapping sound and the tapping sound in the sound data obtained by performing the striking work while traveling the agricultural robot 1 from the work start point P11 to the work end point P12.
  • each of the pitch (frequency) of the sound and the degree of change (tone) of the waveform of the tapping sound is within the predetermined range from the standard (average), and if it is within the predetermined range, it is judged as the harvest time. However, if it is out of the specified range, it is judged that it is not the harvest time.
  • the agricultural robot 1 is run from the work start point P11 to the work end point P12 along the cultivation place 105, and the sound data of the crop 2 hit on the way is obtained as the past harvest record information. If the sound data is within a predetermined range from the standard (average) of the past harvest record information, the crop 2 is harvested.
  • the standard may be other than the average, and variations such as standard deviation may be used as the standard, and the standard is limited. Not done.
  • FIG. 24 shows a modified example of the agricultural robot 1 and the support system for the agricultural robot.
  • the collecting device 43 may be a communication device capable of transmitting sound data to an external device 70 such as a server, a mobile terminal, or a personal computer.
  • the collecting device 43 which is a communication device, transmits the sound data (waveform H10) when the crop 2 is hit to the external device 70.
  • the external device 70 has a model generation unit 41E, and constructs a trained model that estimates the growth state based on the sound data transmitted from the agricultural robot 1 (communication device). The method of constructing the trained model is the same as that of the above-described embodiment.
  • the external device 70 transmits the constructed trained model (first growth model, second growth model, third growth model) to the agricultural robot 1 (communication device). do.
  • the control device 41 stores the trained model. Similar to the above-described embodiment, the time determination unit 41F determines whether or not the crop 2 that has been hit is the harvest time based on the trained model of the control device 41 and the sound data obtained at the time of hitting. ..
  • the work control unit 41B controls the harvest when it is determined that the crop 2 that has been hit is the harvest time, while the work control unit 41B performs the harvest when it is determined that the crop 2 that has been hit is not the harvest time. Perform no control.
  • the agricultural robot 1 is provided on the traveling body 3 that can move toward the cultivation position Dn of the crop 2, and the tip side when the traveling body 3 reaches the periphery of the cultivation position Dn.
  • a manipulator 4 that can be brought closer to the crop 2, a striking mechanism 51 that is provided on the tip side of the manipulator 4 and hits the crop 2, and a microphone that collects the sound when the crop 2 is hit by the striking mechanism 51 ( It includes a tapping sound sensor 50C including a recording mechanism 52), and a collecting device 63 for collecting sound data collected by a microphone (recording mechanism 52).
  • the sound data when the crop 2 is hit can be easily obtained by simply moving the traveling body 3 closer to the cultivation position Dn of the crop 2. It is possible to collect it and provide support for grasping the growth of crop 2.
  • the cultivation place (planting place) of the crop 2 is in the facility 100, it is possible to efficiently collect the sound data when the crop 2 is struck with less noise.
  • the agricultural robot 1 includes at least a control device 41 that controls the collecting device 63 to move the traveling body 3 toward the cultivation position Dn of another crop 2 that has not collected the data after collecting the data. .. According to this, the control device 41 can efficiently collect sound data when there are a plurality of crops 2.
  • the agricultural robot 1 includes optical sensors 5A and 5B provided on the traveling body 3, and the control device 41 together with the crop 2 and the traveling body 3 based on the sensing data obtained by the optical sensors 5A and 5B.
  • the traveling body 3 is moved toward the cultivation position Dn of the crop 2 so that the distance between the two is a predetermined reference distance. According to this, the agricultural robot 1 (running body 3) can be moved around the cultivation position Dn, and the tip side of the manipulator 4 can be brought closer to the crop 2 more quickly and accurately.
  • the agricultural robot 1 includes a model generation unit 41E that generates a model for estimating the growth state of the crop 2 based on a plurality of data collected by the collection device 63. According to this, it is possible to easily generate a model capable of estimating the growth state of the crop 2 from the collected sound data.
  • the model generation unit 41E performs reinforcement learning every time the collection device 63 acquires data. According to this, reinforcement learning can be performed every time the collecting device 63 acquires data, such as a situation where the agricultural robot 1 (running body 3) works on the crop 2, and a more accurate model can be obtained. Can be built.
  • the agricultural robot 1 includes a robot hand 18 that harvests by grasping the crop 2, and a timing determination unit 41F that determines whether or not the crop 2 that has been hit is the harvest time based on the model and data. , And the robot hand 18 harvests the crop 2 that has been hit when the timing determination unit 41F determines that it is the harvest time, and does not harvest the crop 2 that has been hit when it is not determined to be the harvest time.
  • the collecting device 63 is a storage device for storing data or a communication device for transmitting data to an external terminal. According to this, it is possible to store and collect sound data when the crop 2 is hit, or to transmit the collected sound data to an external terminal.
  • the support system for the agricultural robot 1 is provided on the traveling body 3 that can move toward the cultivation position Dn of the crop 2 and when the traveling body 3 reaches the periphery of the cultivation position Dn.
  • a manipulator 4 capable of bringing the tip side closer to the crop 2, a striking mechanism 51 provided on the tip side of the manipulator 4 and striking the crop 2, and a sound collection when the crop 2 is striked by the striking mechanism 51.
  • It is a support system of an agricultural robot 1 equipped with a tapping sound sensor 50C including a microphone (recording mechanism 52), and includes a collecting device 63 for collecting sound data collected by the microphone (recording mechanism 52). ing.
  • the sound data when the crop 2 is hit can be easily obtained by simply moving the traveling body 3 closer to the cultivation position Dn of the crop 2. It is possible to collect it and provide support for grasping the growth of crop 2.
  • the cultivation place (planting place) of the crop 2 is in the facility 100, it is possible to efficiently collect the sound data when the crop 2 is struck with less noise.
  • the support system of the agricultural robot 1 includes at least a control device 41 that controls the collecting device 63 to move the traveling body 3 toward the cultivation position Dn of another crop 2 that has not collected the data after collecting the data. I have. According to this, the control device 41 can efficiently collect sound data when there are a plurality of crops 2.
  • the support system of the agricultural robot 1 includes optical sensors 5A and 5B provided on the traveling body 3, and the control device 41 travels with the crop 2 based on the sensing data obtained by the optical sensors 5A and 5B.
  • the traveling body 3 is moved toward the cultivation position Dn of the crop 2 so that the distance from the body 3 becomes a predetermined reference distance. According to this, the agricultural robot 1 (running body 3) can be moved around the cultivation position Dn, and the tip side of the manipulator 4 can be brought closer to the crop 2 more quickly and accurately.
  • the support system of the agricultural robot 1 includes a model generation unit 41E that generates a model for estimating the growth state of the crop 2 based on a plurality of data collected by the collection device 63. According to this, it is possible to easily generate a model capable of estimating the growth state of the crop 2 from the collected sound data.
  • the support system of the agricultural robot 1 has a work control unit that controls a robot hand 18 that can be harvested by grasping the crop 2, and whether the crop 2 that has been hit is the harvest time based on the model and data. It is equipped with a timing determination unit 41F for determining whether or not, and the work control unit controls the robot hand 18 to harvest the crop 2 that has been hit when the timing determination unit 41F determines that it is the harvest time.
  • Control is performed so that the crop 2 that has been hit when it is not determined to be harvested is not harvested. According to this, at the time of harvesting work in which the crop 2 is harvested, it is possible to easily grasp whether the crop 2 is at the harvest time, and it is possible to efficiently harvest only the crop 2 which is the harvest time.
  • the agricultural robot 1 has a control device 41.
  • the control device 41 is, for example, a microcomputer provided with a CPU (Central Processing Unit), an EEPROM (Electrically Erasable Programmable Read-Only Memory), or the like.
  • Optical sensors 5A and 5B, a tapping sound sensor 50C, a traveling motor M1 and a rotating motor M2 are connected to the control device 41.
  • a plurality of control valves 42 are connected to the control device 41.
  • the control valve 42 includes a first control valve 42A, a second control valve 42B, a third control valve 42C, a fourth control valve 42D, and a fifth control valve 42E.
  • the first control valve 42A is a valve that controls the steering cylinder C1
  • the second control valve 42B is a valve that controls the first elevating cylinder C2
  • the third control valve 42C is a valve that controls the second elevating cylinder C3.
  • the fourth control valve 42D is a valve that controls the first arm cylinder C4
  • the fifth control valve 42E is a valve that controls the second arm cylinder C5.
  • the first control valve 42A, the second control valve 42B, the third control valve 42C, the fourth control valve 42D, and the fifth control valve 42E are solenoid valves that operate based on, for example, a control signal from the control device 41.
  • first control valve 42A, the second control valve 42B, the third control valve 42C, the fourth control valve 42D, and the fifth control valve 42E are solenoid valves (three-position switching) that are switched to a plurality of positions by a control signal. Solenoid valve).
  • the control device 41 When the control device 41 outputs a control signal to the first control valve 42A, the first control valve 42A is switched to a predetermined position according to the control signal.
  • the control device 41 When the control device 41 outputs a control signal to the second control valve 42B, the second control valve 42B is switched to a predetermined position according to the control signal. Further, when the control device 41 outputs a control signal to the third control valve 42C, the third control valve 42C is switched to a predetermined position according to the control signal.
  • the control device 41 When the control device 41 outputs a control signal to the fourth control valve 42D, the fourth control valve 42D is switched to a predetermined position according to the control signal.
  • the control device 41 When the control device 41 outputs a control signal to the fifth control valve 42E, the fifth control valve 42E is switched to a predetermined position according to the control signal.
  • An oil passage 46 is connected to the first control valve 42A, the second control valve 42B, the third control valve 42C, the fourth control valve 42D, and the fifth control valve 42E, and hydraulic oil is discharged to the oil passage 46.
  • the hydraulic pump P1 is connected.
  • the first control valve 42A the supply of hydraulic oil to the bottom side or the rod side of the steering cylinder C1 is switched, and the steering cylinder C1 expands and contracts.
  • the second control valve 42B the supply of hydraulic oil to the bottom side or the rod side of the first elevating cylinder C2 is switched, and the first elevating cylinder C2 expands and contracts.
  • the third control valve 42C the supply of hydraulic oil to the bottom side or the rod side of the second elevating cylinder C3 is switched, and the second elevating cylinder C3 expands and contracts.
  • the agricultural robot 1 has a traveling control unit 41A.
  • the travel control unit 41A is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the travel control unit 41A controls the travel device 7. That is, the traveling control unit 41A controls the steering cylinder C1 (first control valve 42A) and the traveling motor M1.
  • the travel control unit 41A outputs a control signal to the first control valve 42A to expand and contract the steering cylinder C1 to change the steering direction of the travel device 7 (airframe 6).
  • the travel control unit 41A outputs a control signal to the travel motor M1 to change the rotation speed or rotation direction of the travel motor M1 to change the speed of the travel device 7 (machine 6) and the travel device 7 (machine 6). ) Change the direction of travel.
  • the traveling control unit 41A may control the raising / lowering, tilting, etc. of the machine body 6.
  • the traveling control unit 41A outputs a control signal to the second control valve 42B and expands / contracts the first elevating cylinder C2 to elevate and change the inclination of the machine body 6.
  • the traveling control unit 41A outputs a control signal to the third control valve 42C and expands / contracts the second elevating cylinder C3 to elevate and change the inclination of the machine body 6.
  • the agricultural robot 1 can independently travel to the facility 100 and the like.
  • the agricultural robot 1 has a work control unit 41B.
  • the work control unit 41B is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the work control unit 41B controls the manipulator (work unit) 4. That is, the work control unit 41B controls the first arm cylinder C4, the second arm cylinder C5, and the rotary motor M2.
  • the work control unit 41B outputs a control signal to the fourth control valve 42D and expands / contracts the first arm cylinder C4 to swing the first arm unit 31.
  • the work control unit 41B outputs a control signal to the fifth control valve 42E and expands / contracts the second arm cylinder C5 to swing the second arm unit 32.
  • the work control unit 41B rotates the manipulator (work unit) 4 by changing the rotation direction of the rotation motor M2 by outputting a control signal to the rotation motor M2.
  • the work control unit 41B can move the robot hand 18 to an arbitrary (desired) position. Specifically, the robot hand 18 moves in the circumferential direction around the rotation axis J1 due to the rotation of the rotation frame 21, the robot hand 18 moves up and down due to the vertical swing of the first arm portion 31, and the second arm portion.
  • the robot hand 18 can be moved to a target position by moving the robot hand 18 in the perspective direction with respect to the traveling body 3 by swinging the 32.
  • the work control unit 41B controls the actuator 51B (striking member 51A). For example, by outputting a control signal to the actuator 51B, the actuator 51B is operated, and the hitting member 51A controls to hit the crop 2 (hit control).
  • the agricultural robot 1 includes a crop search unit 41G.
  • the crop search unit 41G is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the crop search unit 41G searches for crop 2 based on the first sensing data obtained by the first optical sensor 5A and the second sensing data obtained by the second optical sensor 5B.
  • the first sensing data is an captured image (image data).
  • the optical sensor 5A is a laser sensor (rider)
  • the first sensing data is scan data including the distance and direction from the optical sensor 5A to the object (object) sensed.
  • the second sensing data is an captured image (image data).
  • the second sensing data is scan data including the distance and direction from the optical sensor 5B to the object (object) sensed.
  • the crop search unit 41G searches for the crop 2 based on the first sensing data (captured image, scan data) H10 and the second sensing data (captured image, scan data) K10. Explore.
  • the crop search unit 41G will be described in detail.
  • the crop search unit 41G has a position estimation unit 81 and a position identification unit 82.
  • the position estimation unit 81 estimates the cultivation position Dn of the crop 2 in the facility 100 for cultivating the crop 2 based on the first sensing data H11.
  • the position specifying unit 82 is the crop position Zn which is the position of the crop based on the second sensing data H12 when the agricultural robot 1 (running body 3) is positioned around the cultivation position Dn estimated by the position estimation unit 81. To identify.
  • the position estimation unit 81 determines whether or not the referenced first sensing data H11 includes the profiling of the crop 2. Specifically, when the first sensing data H11 is a captured image, it is determined whether or not the crop 2 is included in the captured image by matching the feature amount of the captured image, pattern matching, and the like.
  • the position estimation unit 81 compares the feature amount obtained from the captured image with the feature amount in the image of the crop prepared in advance, and if the feature amounts of both match, it is said that the crop 2 is in the captured image. If it is judged and the feature amounts of both do not match, it is not judged that the crop 2 is present in the captured image.
  • the position estimation unit 81 compares the reference profiling showing the pattern, contour, unevenness, etc. of the surface of the crop 2 prepared in advance with the image profiling obtained from the captured image, and the reference profiling and the image profiling match. If this is the case, it is determined that the captured image contains the crop 2 and the like, and if the reference profiling and the data profiling do not match, it is determined that the captured image does not contain the crop 2.
  • the position estimation unit 81 determines whether or not the depiction body depicted by the scan data is crop 2. In this case, the position estimation unit 81 compares the data profiling of the depiction body with the reference profiling, and if the reference profiling and the data profiling match, it is determined that the scan data contains the crop 2. If the reference profiling and the data profiling do not match, it is determined that the scan data does not include crop 2.
  • the position estimation unit 81 calculates the relative distance L10 between the crop 2 and the agricultural robot 1 (traveling body 3). do.
  • the position estimation unit 81 is the image (vertical pixel, horizontal pixel) H2 of the crop 2 which is the subject included in the captured image H1.
  • the size is compared with the size of the reference frame (vertical pixel, horizontal pixel) F10.
  • the position estimation unit 81 determines that the relative distance L10 is longer than the reference distance L11 determined corresponding to the reference frame F10.
  • the position estimation unit 81 estimates that the crop 2 is farther than the position from the agricultural robot 1 (running body 3) to the reference distance L11.
  • the position estimation unit 81 determines that the relative distance L10 is shorter than the reference distance L11. That is, the position estimation unit 81 estimates that the crop 2 is closer than the position from the agricultural robot 1 (running body 3) to the reference distance L11.
  • the position estimation unit 81 compares the size of the image H2 of the crop 2 with the size of the reference frame F10, and is based on the ratio between the size of the image H2 of the crop 2 and the size of the reference frame F10 and the reference distance L11. Then, the relative distance L10 between the current agricultural robot 1 and the crop 2 is obtained.
  • the position estimation unit 81 rotates the arm bracket 26 from the neutral position MP1 around the first arm pivot 33A
  • the optical axis A20 of the optical sensor 5A also has an optical axis A20 with respect to the neutral position MP1. It means that it is rotated by a predetermined angle ⁇ 1.
  • the position estimation unit 81 refers to the neutral position MP1 when the center of the image H2 of the crop 2 is aligned with the line L20.
  • a predetermined angle ⁇ 1 of the optical sensor 5A is calculated, and the distance is L10 relative to the center position O2 (rotation axis J1) of the optical sensor 5A on the line L20 in the calculated predetermined angle ⁇ 1.
  • the position is estimated to be the cultivation position Dn.
  • the relative distance L10 (cultivation position Dn) estimated by the position estimation unit 81 is far from the current position of the agricultural robot 1 (traveling body 3), and the tip side (robot hand) of the manipulator (working unit) 4
  • the agricultural robot 1 (running body 3) is controlled and the agricultural robot 1 (running body 3) is placed at the cultivation position Dn so as to approach the cultivation position Dn.
  • the travel control unit 41A stops the agricultural robot 1 (traveling body 3) when the tip side (robot hand 18) of the manipulator (working unit) 4 approaches the position where the crop 2 is reached, that is, around the cultivation position Dn. ..
  • the position specifying unit 82 calculates the first distance (relative distance L15) between the second optical sensor 5B and the crop 2 based on the second sensing data H12, and sets the calculated first distance (relative distance L15).
  • the crop position Zn is specified based on this.
  • the position specifying unit 82 is captured by the center (center in the X-axis direction) of the image H2 of the crop 2 included in the captured image H1. So that it is located in the center of the image H1, that is, the line L21 in the Y-axis direction corresponding to the optical axis of the second optical sensor 5B coincides with the center of the image H2 of the crop 2 (the center in the X-axis direction). , The angle ⁇ 2 of the arm portion (first arm portion 31 and second arm portion 32) with respect to the traveling body 3 is adjusted.
  • the position specifying unit 82 sets the size of the image H2 of the crop 2 and the size of the reference frame F11 in a state where the center of the image H2 of the crop 2 (the center in the X-axis direction) is located at the center of the captured image H1. compare.
  • the position specifying unit 82 determines that the relative distance L15 is longer than the reference distance L11 determined corresponding to the reference frame F11. That is, the position specifying unit 82 estimates that the crop 2 is located farther than the position from the agricultural robot 1 (running body 3) to the reference distance L11.
  • the position specifying unit 82 determines that the relative distance L15 is shorter than the reference distance L11. That is, the position specifying unit 82 estimates that the crop 2 is closer than the position from the agricultural robot 1 (running body 3) to the reference distance L11.
  • the position specifying unit 82 compares the size of the image H2 of the crop 2 with the size of the reference frame F11, and based on the ratio of the size of the image H2 of the crop 2 to the size of the reference frame F11 and the reference distance L11.
  • the relative distance L15 between the second optical sensor 5B and the crop 2 is obtained.
  • the position specifying unit 82 is relative to the crop 2 from the agricultural robot 1 (traveling body 3) by summing the movable distance L16 between the rotation axis J1 and the second optical sensor 5B and the relative distance L15. Calculate the distance L10.
  • the position specifying portion 82 is the position (crop position) of the crop 2 when the rotation axis J1 is the origin due to the relative distance L10 (relative distance L15 + movable distance L16) and the angle ⁇ 2 of the arm portion with respect to the traveling body 3.
  • the movable distance L16 is the angle ⁇ 3 of the first arm portion 31 with respect to the rotating frame 21, the angle ⁇ 4 between the first arm portion 31 and the second arm portion 32, the length of the first arm portion 31, and the second arm portion. It is possible to calculate by the length of 32 (stroke of the second arm portion 32).
  • the angle ⁇ 3 can be obtained by a sensor that detects the rotation of the first arm pivot 33A or a sensor that detects the stroke of the first arm cylinder C4.
  • the angle ⁇ 4 can be obtained by a sensor that detects the rotation of the second arm pivot 33B or a sensor that detects the stroke of the second arm cylinder C5.
  • the first sensing data H11 and the second sensing data H12 have been described by taking as an example the captured image H1, but instead of this, the first sensing data H11 and the second sensing data H12 have been described.
  • the position estimation unit 81 can calculate the relative distance L10 based on the scanner data, and the position specifying unit 82 can also calculate the relative distance L15 based on the scanner data.
  • the second optical sensor 5B is a spectroscopic analyzer capable of detecting the components of the crop 2 by spectroscopically analyzing the reflected wave of the light applied to the crop. You may. Further, the second optical sensor 5B may include two or more of a laser sensor, an image pickup device, and a spectroscopic analyzer. As shown in FIG. 31, an identification member 85 for identifying the crop 2 may be installed in the vicinity of the crop 2.
  • the identification member 85 includes a code portion 85a showing identification information (identification data) indicated by a two-dimensional bar code, numbers, colors, etc. of the crop 2, and a support member 85b such as a support column or a rod that supports the code portion 85a. Includes.
  • the crop search unit 41G is based on the second distance between the identification member 85 and the traveling body 3. Then, the cultivation position Dn and the crop position Zn may be estimated.
  • the identification information is associated with information (cultivation information) related to cultivation such as the planting date when the seedling of crop 2 is planted and the expected harvest date of crop 2, and the identification information is used as an optical sensor (first optical sensor 5A). , The second optical sensor 5B) makes it possible to grasp the planting date, the planned harvest date, and the like of the crop 2 corresponding to the identification information.
  • the cultivation information and the identification information are related to each other and stored in an external device such as a server or a mobile terminal.
  • an external device such as a server or a mobile terminal.
  • the optical sensors detect the identification information, the communication device or the like of the agricultural robot 1 connects to an external device, so that the agricultural robot 1 can be connected to the agricultural robot 1.
  • Cultivation information can be obtained from an external device.
  • the cultivation information and the identification information are associated and stored in the external device, but may be stored in the control device 41.
  • the crop search unit 41G refers to either the first sensing data H11 or the second sensing data H12, and when the referenced sensing data includes the identification member 85, the position of the identification member 85 instead of the crop 2. Is estimated as either the cultivation position Dn or the crop position Zn.
  • the position estimation unit 81 calculates the relative distance between the identification member 85 and the agricultural robot 1 (traveling body 3). ..
  • the position estimation unit 81 calculates the relative distance between the identification member 85 and the agricultural robot 1 (traveling body 3) instead of the relative distance L10 between the crop 2 and the agricultural robot 1 (traveling body 3), and the relative distance is calculated.
  • the cultivation position Dn is obtained based on the distance.
  • the method of obtaining the cultivation position Dn may be the same as that of the crop 2, as the crop 2 may be read as the "identification member” and the image of the crop 2 may be read as the "image of the identification member 85" in the explanation of the position estimation unit 81. ..
  • the position specifying unit 82 determines that the identification member 85 is included in the second sensing data H12
  • the position specifying unit 82 calculates the relative distance between the identification member 85 and the second optical sensor 5B.
  • the position specifying unit 82 calculates the relative distance between the identification member 85 and the second optical sensor 5B instead of the relative distance L15 between the crop 2 and the second optical sensor 5B, and the crop is based on the relative distance.
  • Find the position Zn The method of obtaining the crop position Zn may be the same as that of the crop 2, as the crop 2 may be read as the "identification member” and the image of the crop 2 may be read as the "image of the identification member 85" in the explanation of the position specifying unit 82. ..
  • the agricultural robot 1 may include a map creation unit 41H.
  • the map creation unit 41H is an electric / electronic circuit provided in the control device 41, a program stored in the control device 41, and the like.
  • the map creating unit 41H includes the identification information of the identification member 85b in any of the first sensing data H11 and the second sensing data H12, as shown in FIG. 32, the map creating unit 41H has the first sensing data H11 and the second sensing data H11.
  • a cultivation map F2 including the crop position Zn and the cultivation information is created.
  • the map creation unit 41H was obtained by the crop search unit 41G when the agricultural robot 1 was run along the cultivation site 105 from the work start point P11 to the work end point P12. Refer to the crop position Zn.
  • the vehicle body position Ri is obtained, for example, by the distance in the vertical direction Y1 from the doorway 130 to the current agricultural robot 1, or the distance in the horizontal direction X1 from the doorway 130 to the current agricultural robot 1. Can be done.
  • the vehicle body position Ri is the distance in the vertical direction Y1 from the work start point P11 to the current agricultural robot 1 or the work start point P11 to the current agricultural robot 1 with the work start point P11 as the origin in the facility 100. It can be obtained by the distance in the lateral direction X1 up to.
  • the map creation unit 41H has an optical sensor (first optical sensor 5A) when the agricultural robot 1 is run along the cultivation site 105 from the work start point P11 to the work end point P12. , The identification information detected by the second optical sensor 5B) is acquired from the external device or the control device 41, the cultivation information is calculated from the acquired identification information, and as shown in FIG. 32, the determined cultivation information and the crop position Zna are used. Create a cultivation map F2 associated with. As shown in FIG. 32, when the cultivation map F2 is displayed, a figure showing the crop 2 is shown at the crop position Zna.
  • the agricultural robot 1 includes a traveling body 3 including a machine body 6 and a traveling device 7 that supports the machine body 6 so as to be able to travel, a mounting body 16 detachably attached to the machine body 6, and an arm attached to the mounting body 16.
  • the manipulator 4 including the robot hand 18 provided on the tip side of the arm 17 and the arm 17, the first optical sensor 5A provided on the machine body 6, and the second optical provided on either the arm 17 or the robot hand 18.
  • a crop search unit that searches for crop 2 based on the formula sensor 5B, the first sensing data H11 obtained by the first optical sensor 5A, and the second sensing data H12 obtained by the second optical sensor 5B. It is equipped with 41G.
  • the search for crop 2 can be performed efficiently.
  • the first sensing data H11 can grasp the rough position of the crop 2
  • the second sensing data H12 can grasp the accurate position of the crop 2.
  • the crop search unit 41G is located around the position estimation unit 81 that estimates the cultivation position Dn of the crop in the facility 100 that cultivates the crop 2 based on the first sensing data H11, and the cultivation position Dn estimated by the position estimation unit 81. It includes a position specifying unit 82 that specifies the crop position Zn, which is the position of the crop, based on the second sensing data H12 when the traveling body 3 is positioned. According to this, in the facility 100, the cultivation position Dn, which is the approximate position of the crop, can be grasped, and the crop position Zn, which is the exact position of the crop 2, can be grasped.
  • the agricultural robot 1 includes a control device 41 for moving the traveling body 3 around the cultivation position Dn estimated by the position estimation unit 81. According to this, the agricultural robot 1 can be efficiently moved to the cultivation position Dn, which is the approximate position of the crop, in the facility 100.
  • the position specifying unit 82 identifies the crop position Zn from the second sensing data H12 obtained from the second optical sensor 5B when the traveling body 3 is moved around the cultivation position Dn and the traveling body 3 is stopped. do. According to this, when the traveling body 3 is stopped after moving at the time of work or the like, the crop position Zn which is the accurate position of the crop 2 can be easily obtained, and the manipulator 4 is stopped in the state where the traveling body 3 is stopped. It is possible to efficiently perform the work related to the crop 2 at the crop position Zn by locating the tip side of the crop at the determined crop position Zn.
  • the position specifying unit 82 calculates the first distance (relative distance) L15 between either the second optical sensor 5B or the traveling body 3 and the crop 2 based on the second sensing data H12, and the calculated first distance. (Relative distance)
  • the crop position Zn is specified based on L15. According to this, it is possible to obtain the actual position of the crop 2 and the crop position Zn with a small error.
  • the second optical sensor 5B includes any two or more of a laser sensor, an image pickup device, and a spectroscopic analyzer. According to this, not only the crop position Zn of the crop 2 can be accurately obtained, but also the state of the crop 2 such as the quality can be grasped.
  • the crop search unit 41G When the crop search unit 41G includes the identification information of the identification member 85b for identifying the crop in either the first sensing data H11 or the second sensing data H12, the crop search unit 41G has a second of the identification member 85 and the traveling body 3.
  • the cultivation position Dn and the crop position Zn are estimated based on the distance. According to this, the position of the crop 2 (cultivation position Dn, crop position Zn) can be easily obtained only by sensing the presence or absence of the identification member 85 without directly sensing the crop 2.
  • the agricultural robot 1 When the agricultural robot 1 includes the identification information of the identification member 85b for identifying the crop in any of the first sensing data H11 and the second sensing data H12, the first sensing data H11 and the second sensing data H12 It also has a map creation unit 41H that creates a cultivation map F2 including crop position Zn and cultivation information based on the identification data. According to this, the crop position Zn and the cultivation information can be easily confirmed by the cultivation map F2. For example, when the work is performed by the agricultural robot 1, the work can be performed according to the cultivation information at the crop position Zn.
  • Agricultural robot 2 Crop 2a: Crop 2b: Crop 2c: Crop 3: Running body 4: Working unit (manipulator) 5A: Optical sensor 5B: Optical sensor 6: Machine 7: Traveling device 16: Mounting body 17: Arm 18: Robot hand 23: Collecting device 41: Control device 41A: Traveling control unit 41B: Work control unit 41C: Location management Unit 41D: Map generation unit 41E: Model generation unit 41F: Timing determination unit 41G: Crop search unit 41H: Map creation unit 43: Collection device 50C: Hitting sound sensor 51: Strike mechanism 63: Collection device 81: Position estimation unit 82: Position identification unit 85: Identification member 85b: Identification member 100: Facility 105: Cultivation site F1: Map R1: First profiling R2: Second profiling Dn: Cultivation position L11: Reference distance F2: Cultivation map H11: First sensing data H12 : 2nd sensing data Zn: Crop position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

施設(100)内における農業用ロボット(1)の作業を効率的に行うことができるようにする。 農業用ロボット(1)は、走行体(3)と、走行体(3)に設けられ、作物(2)に関する作業を行う作業部(4)と、走行体(3)に設けられた光学式センサ(5A、5B)と、光学式センサ(5A、5B)で得られたセンシングデータに基づいて、作物(2)を栽培する施設(100)内に走行体(3)が位置するか否かを判断する場所管理部(41C)と、を備え、作業部(4)は、場所管理部(41C)によって走行体(3)が施設(100)内に位置すると判断した場合に、作業部(4)に基づいて作物(2)に関する作業を行う。

Description

農業用ロボット及び農業用ロボットの支援システム
 本発明は、農業用ロボット及び農業用ロボットの支援システムに関する。
 従来、特許文献1に開示された農業用ロボットが知られている。
 特許文献1に開示された農業用ロボットは、走行体に作物の収穫を行うことが可能なマニピュレータが設けられている。
日本国公開特許公報「特開2011-229406号公報」
 さて、スイカ、メロン、カボチャ等の作物は様々なところで栽培(作付け)されるのが一般的である。ここで、施設内で作物の栽培を行ったときにも、農業用ロボットが適正に作物に関する作業を行うことが求められている。また、施設内で作物の栽培を行ったときに、作物の生育状態などを把握することが必要である。さらに、農業用ロボットで作物の収穫などの作業を行う場合、作物を素早く探索することができれば、作業を効率化することができるものの、特許文献1の農業用ロボットでは、作物の探索を行うことが困難であった。
 本発明は、作物の収穫時に、施設内における農業用ロボットの作業を効率的に行うことができる農業用ロボット及び農業用ロボットの支援システムを提供することを目的とする。
 また、本発明は、作物の生育などを把握するためのデータを簡単に収集することができる農業用ロボット及び農業用ロボットの支援システムを提供することを目的とする。
 さらに、本発明は、作物の探索を効率よく行うことができる農業用ロボットを提供することを目的とする。
 農業用ロボットは、走行体と、前記走行体に設けられ、作物に関する作業を行う作業部と、前記走行体に設けられた光学式センサと、前記光学式センサで得られたセンシングデータに基づいて、前記作物を栽培する施設内に前記走行体が位置するか否かを判断する場所管理部と、を備え、前記作業部は、前記場所管理部によって前記走行体が前記施設内に位置すると判断した場合に、前記作業部に基づいて作物に関する作業を行う。
 前記場所管理部は、前記センシングデータに前記施設を構成する構造物が含まれ且つ前記構造物が施設内から見た第1プロファイリングである場合に、前記走行体が施設内であると判断する。
 前記場所管理部は、前記センシングデータに、前記第1プロファイリングに加えて前記作物の栽培場所の第2プロファイリングが含まれる場合に、前記走行体が施設内であると判断する。
 農業用ロボットは、前記第1プロファイリングと前記第2プロファイリングとに基づいて、前記走行体の走行を制御する走行制御部を備えている。
 農業用ロボットは、前記第1プロファイリングと、前記第2プロファイリングに含まれる作物に基づいて、前記施設内のマップを生成するマップ生成部を備えている。
 前記場所管理部は、学習済みのモデルと、前記センシングデータとに基づいて、前記第1プロファイリングであるかを判断する。
 前記場所管理部は、前記走行体が前記施設内を走行したときの前記センシングデータを取得することで、強化学習を行う。
 前記場所管理部は、前記構造物として施設を構成するフレームのセンシングデータに基づいて走行体が施設内に位置しているか否かを判断する。
 農業用ロボットの支援システムは、走行体と、前記走行体に設けられ作物に関する作業を行う作業部と、前記走行体に設けられた光学式センサとを備え、前記走行体が前記施設内に位置する場合に前記作業部に基づいて作物に関する作業を行う農業用ロボットの支援システムであって、前記光学式センサで得られたセンシングデータに基づいて、前記作物を栽培する施設内に前記走行体が位置するか否かを判断する場所管理部を備えている。
 農業用ロボットの支援システムは、前記第1プロファイリングと前記第2プロファイリングとに基づいて、前記走行体の走行を制御する走行制御部を備えている。
 農業用ロボットの支援システムは、前記第1プロファイリングと、前記第2プロファイリングに含まれる作物に基づいて、前記施設内のマップを生成するマップ生成部を備えている。
 農業用ロボットは、作物の栽培位置に向けて移動可能な走行体と、前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけることが可能なマニピュレータと、前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で作物を打撃したときの音を集音する録音機構とを含む打音センサと、前記録音機構で集音した音のデータを収集する収集装置と、を備えている。
 農業用ロボットは、少なくとも前記収集装置が前記データを収集後、当該データを収集していない他の作物の栽培位置に向けて前記走行体を移動させる制御を行う制御装置を備えている。
 農業用ロボットは、前記走行体に設けられた光学式センサを備え、前記制御装置は、前記光学式センサで得られたセンシングデータに基づいて、前記作物と走行体との距離が予め定められた基準距離になるように、作物の栽培位置に向けて前記走行体を移動させる。
 農業用ロボットは、前記収集装置が収集した複数のデータに基づいて、作物の生育状況を推定するモデルを生成するモデル生成部を備えている。
 前記モデル生成部は、前記収集装置がデータを取得する毎に、強化学習を行う。
 農業用ロボットは、前記作物を把持することで収穫するロボットハンドと、前記モデルと前記データとに基づいて、前記打撃を与えた作物が収穫時期であるか否かを判断する時期判断部と、を備え、前記ロボットハンドは、前記時期判断部が収穫時期と判断した場合に前記打撃を与えた作物を収穫し、前記収穫時期と判断しなかった場合に前記打撃を与えた作物を収穫しない。
 前記収集装置は、前記データを記憶する記憶装置、又は、前記データを外部端末に送信する通信装置である。
 農業用ロボットの支援システムは、作物の栽培位置に向けて移動可能な走行体と、前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけることが可能なマニピュレータと、前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で作物を打撃したときの音を集音する録音機構とを含む打音センサとを備えた農業用ロボットの支援システムであって、前記録音機構で集音した音のデータを収集する収集装置を備えている。
 農業用ロボットの支援システムは、少なくとも前記収集装置が前記データを収集後、当該データを収集していない他の作物の栽培位置に向けて前記走行体を移動させる制御を行う制御装置を備えている。
 農業用ロボットの支援システムは、前記走行体に設けられた光学式センサを備え、前記制御装置は、前記光学式センサで得られたセンシングデータに基づいて、前記作物と走行体との距離が予め定められた基準距離になるように、作物の栽培位置に向けて前記走行体を移動させる。
 農業用ロボットの支援システムは、前記収集装置が収集した複数のデータに基づいて、作物の生育状況を推定するモデルを生成するモデル生成部を備えている。
 農業用ロボットの支援システムは、前記作物を把持することで収穫可能なロボットハンドを制御する作業制御部と、前記モデルと前記データとに基づいて、前記打撃を与えた作物が収穫時期であるか否かを判断する時期判断部と、を備え、前記作業制御部は、前記ロボットハンドに対して前記時期判断部が収穫時期と判断した場合に前記打撃を与えた作物を収穫する制御を行い、前記収穫時期と判断しなかった場合に前記打撃を与えた作物を収穫しない制御を行う。
 農業用ロボットは、機体と、機体を走行可能に支持する走行装置とを含む走行体と、前記機体に着脱可能に装着された装着体、前記装着体に取り付けられたアーム及び前記アームの先端側に設けられたロボットハンドを含むマニピュレータと、前記機体に設けられた第1光学式センサと、前記アーム及びロボットハンドのいずれかに設けられた第2光学式センサと、前記第1光学式センサで得られた第1センシングデータと、前記第2光学式センサで得られた第2センシングデータとに基づいて、作物を探索する作物探索部と、を備えている。
 前記作物探索部は、前記第1センシングデータに基づいて作物を栽培する施設内における前記作物の栽培位置を推定する位置推定部と、前記位置推定部で推定した前記栽培位置の周辺に前記走行体を位置させたときの前記第2センシングデータに基づいて作物の位置である作物位置を特定する位置特定部とを含んでいる。
 前記位置推定部で推定した前記栽培位置の周囲に前記走行体を移動させる制御装置を備えている。
 前記位置特定部は、前記走行体を前記栽培位置の周囲に移動させて当該走行体を停止させたときの前記第2光学式センサから得られた第2センシングデータから前記作物位置を特定する。
 前記位置特定部は、前記第2センシングデータに基づいて、前記第2光学式センサ及び走行体のいずれかと、前記作物との第1距離を演算し、前記演算した第1距離に基づいて前記作物位置を特定する。
 前記第2光学式センサは、レーザセンサ、撮像装置及び分光分析装置のうち2つ以上を含んでいる。
 前記作物探索部は、前記第1センシングデータ及び前記第2センシングデータのいずれかに、作物を識別する識別部材に識別情報が含まれている場合、前記識別部材と前記走行体との第2距離に基づいて、前記栽培位置及び前記作物位置の推定を行う。
 農業用ロボットは、前記第1センシングデータ及び前記第2センシングデータのいずれかに、作物を識別する識別部材に識別情報が含まれている場合、前記第1センシングデータ、前記第2センシングデータ及び前記識別情報に基づいて、作物位置及び栽培情報を含む栽培マップを作成するマップ作成部を備えている。
 本発明によれば、施設内における農業用ロボットの作業を効率的に行うことができる。
 また、本発明によれば、作物の生育などを把握するためのデータを簡単に収集することができる。
 さらに、本発明によれば、作物の探索を効率よく行うことができる。
農業用ロボットの側面図である。 作業姿勢の状態の農業用ロボットの側面図である。 機体及びマニピュレータの斜視図である。 機体及びマニピュレータの側面図である。 走行装置の平面図である。 走行装置の側面図である。 ロボットハンドの一部拡大図である。 農業用ロボットの支援システムの全体図である。 農業用ロボットを施設で走行させたルートを示す図である。 センシングデータ(撮像画像)と学習済みモデルとの関係を示す図である。 センシングデータ(撮像画像)と、図10Aとは異なる学習済みモデルとの関係を示した図である。 マップF1の一例を示す図である。 施設園芸の施設の内部の概略図である。 施設園芸の施設の平面の概略図である。 作物の栽培初期の施設園芸の施設の内部の斜視図である。 作物の栽培中期又は後期の施設園芸の施設の内部の斜視図である。 撮像画像H1の一例を示す図である。 図16Aとは異なる撮像画像H1の一例を示す図である。 農業用ロボットの一連の動作のフローを示す図である。 農業用ロボットの支援システムの全体図である。 音データ(波形H10)の一例を示す図である。 農業用ロボットにて作物に対して打撃を与える様子を示す図である。 撮像画像H1の一例を示す図である。 識別情報及び音データを含む打音情報の一例を示す図である。 識別情報、音データ及び打音時間を含む打音情報の一例を示す図である。 収穫時の音データ、識別情報及び打音時間(収穫時間)の一例を示す図である。 農業用ロボットを施設で走行させたルートを示す図である。 農業用ロボットの支援システムの変形例を示す図である。 農業用ロボットの支援システムの全体図である。 農業用ロボットにて作物に関する作業を行う様子を示す図である。 撮像画像H1(第1センシングデータH11)の一例を示す図である。 アームブラケットを中立位置MP1から回転させたときの光学式センサの光軸A20と角度θ1との関係を示す図である。 作物位置Znを求める方法を説明する説明図である。 第2センシングデータH12を示す図である。 識別部材と作物との関係を示す図である。 栽培マップF2の一例を示す図である。
 以下、本発明の実施形態について、図面を適宜参照しつつ説明する。
(第1実施形態)
 図1、図2は、農業用ロボット1を例示している。農業用ロボット1は、図12~図15に示すようなハウス等の施設園芸、植物工場等の施設において、栽培される作物2に対して作業(農作業)を行うロボットである。農業用ロボット1は、例えば、スイカ、メロン、カボチャ等の比較的重量のある作物2である重量野菜、果実等に対して作業を行う。
 まず、施設園芸の施設(施設園芸施設)を例にとり、施設について説明する。
 図12~図15に示すように、施設100は、当該施設100を構成する構造物として、ハウス101と、ハウス101の内部に設置された機器102とを備えている。
 ハウス101は、フレーム110と、被覆材111とを含んでいる。フレーム110は、例えば、I形鋼、H形鋼、C形鋼、角形鋼、丸形鋼等の様々な鋼材を組み合わせて、施設100の躯体を構成していて、複数の支柱部材110Aと、複数の連結部材110Bとを含んでいる。図12~図14に示すように、複数の支柱部材110Aは、地面等から起立した部材であって、横方向X1に所定の間隔で設置され且つ縦方向Y1に所定の間隔で設置されている。
 連結部材110Bは、横方向X1に離れた複数の支柱部材110Aの上端を互いに連結する。また、連結部材110Bは、縦方向Y1に離れた複数の支柱部材110Aを互いに連結する。
 被覆材111は、少なくとも太陽光を取り入れ可能な透光性を有する部材であって、合成樹脂、ガラス等で構成されている。被覆材111は、例えば、フレーム110の外側から当該フレーム110の全体を覆っている。言い換えれば、被覆材111は、支柱部材110Aの外側、連結部材110Bの外側に配置されている。
 機器102は、作物2を栽培する際に使用する様々な機器であって、ハウス101内の温度、湿度、空気流動等を調整することができる機器である。詳しくは、機器102は、換気扇102A、循環扇102B、熱交換装置102C等である。図12、図13に示すように、換気扇102Aは、ハウス101の出入口130側に設置され、ハウス101内の空気を外部に排出したり、外部の空気をハウス101内に取り入れる。
 循環扇102Bは、ハウス101内に設置されていて、ハウス101内の空気を所定の方向に循環させる。熱交換装置102Cはハウス101の温度を変更可能な装置であり、例えば、ヒートポンプで構成されている。上述した機器102は、一例であり、灌水機器、照明機器、噴霧機器などであってもよいし限定されない。
 農業用ロボット1は、施設100内において、栽培場所105で栽培された作物2に対して様々な農作業、例えば、作物2の収穫、肥料散布、農薬散布などの農作業を行う。農業用ロボット1は、自立型のロボットである。
 図1~図8は、農業用ロボット1を示している。図8は、農業用ロボットの支援システムを示している。
 以下、農業用ロボット1及び農業用ロボットの支援システムについて詳しく説明する。以下の説明において、図1、図2に矢印A1で示す方向を前方、矢印A2で示す方向を後方、矢印A3で示す方向を前後方向として説明する。したがって、図5に矢印B1で示す方向(図1の手前側)が左方であり、図5に矢印B2で示す方向(図1の奥側)が右方である。また、前後方向A3に直交する水平方向を機体幅方向(図5の矢印B3方向)として説明する。
 図1に示すように、農業用ロボット1は、自律走行する走行体3を有している。走行体3は、機体6と、機体6を走行可能に支持する走行装置7とを有している。
 図3、図4に示すように、機体6は、メインフレーム6Aと、原動機フレーム6Bとを有している。メインフレーム6Aは、機体幅方向B3で間隔をあけて配置された一対の第1フレーム6Aaと、各第1フレーム6Aaの下方に間隔をあけて配置された一対の第2フレーム6Abとを有している。第1フレーム6Aaと第2フレーム6Abとは、複数の縦フレーム6Acによって連結されている。縦フレーム6Acは、左の第1フレーム6Aaと左の第2フレーム6Abとの前部間、右の第1フレーム6Aaと右の第2フレーム6Abとの前部間、左の第1フレーム6Aaと左の第2フレーム6Abとの後部間、右の第1フレーム6Aaと右の第2フレーム6Abとの後部間に設けられている。
 左の第1フレーム6Aaと右の第1フレーム6Aaとは、第1フレーム6Aa間に配置された第1横フレーム6Ad~第5横フレーム6Ahによって連結されている。第1横フレーム6Ad~第5横フレーム6Ahは、第1フレーム6Aaの前端から後端にわたって前後方向A3で間隔をあけて並行状に配置されている。
 第2フレーム6Abの前部同士は、第6横フレーム6Ajによって連結され、第2フレーム6Abの後部同士は、第7横フレーム6Akによって連結されている。
 原動機フレーム6Bは、メインフレーム6Aの下方側に配置されている。原動機フレーム6Bは、前フレーム6Baと、後フレーム6Bbと、複数の連結フレーム6Bcと、複数の取付フレーム6Bdとを有している。前フレーム6Baは、上部が、左及び右の第2フレーム6Abの前部に取り付けられている。後フレーム6Bbは、上部が、左及び右の第2フレーム6Abの前部に取り付けられている。複数の連結フレーム6Bcは、前フレーム6Baと後フレーム6Bbの下部間を連結している。複数の取付フレーム6Bdは、連結フレーム6Bcの前後方向A3中央部に固定されている。
 図4に示すように、取付フレーム6Bdには、原動機(エンジン)E1が取り付けられている。原動機E1には、油圧ポンプP1が取り付けられている。油圧ポンプP1は、原動機E1で駆動される。また、原動機フレーム6Bには、油圧ポンプP1から吐出する作動油を貯留する作動油タンク(図示省略)が搭載されている。
 図5に示すように、メインフレーム6A(機体6)には、走行装置7を制御する複数のコントロールバルブ(第1コントロールバルブCV1~第4コントロールバルブCV4)が搭載されている。
 図1、図2、図5に示すように、走行装置7は、4輪の車輪8を有する車輪型(4輪型)の走行装置で構成されている。詳しくは、走行装置7は、機体6前部の左側に配置された第1車輪8La(左前輪)と、機体6前部の右側に配置された第2車輪8Ra(右前輪)と、機体6後部の左側に配置された第3車輪8Lb(左後輪)と、機体6後部の右側に配置された第4車輪8Rb(右後輪)とを備えている。なお、走行装置7は、少なくとも3輪の車輪8を有する車輪型走行装置で構成されていてもよい。また、走行装置7は、クローラ型の走行装置であってもよい。
 走行装置7は、車輪8を支持する車輪支持体9を有している。車輪支持体9は、車輪8に対応する数設けられている。つまり、走行装置7は、第1車輪8Laを支持する第1車輪支持体9La、第2車輪8Raを支持する第2車輪支持体9Ra、第3車輪8Lbを支持する第3車輪支持体9Lb及び第4車輪8Rbを支持する第4車輪支持体9Rbを有している。
 図5、図6に示すように、車輪支持体9は、走行フレーム10と、操向シリンダC1と、第1昇降シリンダC2と、第2昇降シリンダC3と、走行モータM1とを有している。
 走行フレーム10は、主支持体10Aと、揺動フレーム10Bと、車輪フレーム10Cとを有している。主支持体10Aは、機体6に縦軸(上下方向に延伸する軸心)回りに可能に支持されている。詳しくは、主支持体10Aは機体6に固定された支持ブラケット11に上下方向に延伸する軸心を有する第1支軸12Aを介して回動可能に支持されている。
 図5に示すように、第1車輪支持体9Laを枢支する支持ブラケット11は機体6の前部左側に設けられ、第2車輪支持体9Raを枢支する支持ブラケット11は機体6の前部右側に設けられ、第3車輪支持体9Lbを枢支する支持ブラケット11は機体6の後部左側に設けられ、第4車輪支持体9Rbを枢支する支持ブラケット11は機体6の後部右側に設けられている。
 揺動フレーム10Bは、主支持体10Aに上下揺動可能に支持されている。詳しくは、揺動フレーム10Bは、上部が主支持体10Aに第2支軸12Bを介して横軸(機体幅方向B3に延伸する軸心)回りに回動可能に支持されている。
 第1車輪支持体9La及び第2車輪支持体9Raの揺動フレーム10Bは前上部が主支持体10Aに枢支され、第3車輪支持体9Lb及び第4車輪支持体9Rbの揺動フレーム10Bは後上部が主支持体10Aに枢支されている。
 車輪フレーム10Cは、揺動フレーム10Bに上下揺動可能に支持されている。詳しくは、車輪フレーム10Cは、揺動フレーム10Bに第3支軸12Cを介して横軸回りに回動可能に支持されている。
 第1車輪支持体9La及び第2車輪支持体9Raの車輪フレーム10Cは後部が揺動フレーム10Bの後部に枢支され、第3車輪支持体9Lb及び第4車輪支持体9Rbの車輪フレーム10Cは前部が揺動フレーム10Bの前部に枢支されている。
 操向シリンダC1、第1昇降シリンダC2及び第2昇降シリンダC3は、油圧シリンダによって構成されている。
 操向シリンダC1は、機体6と主支持体10Aとの間に設けられている。詳しくは、操向シリンダC1の一端は、第1フレーム6Aaの前後方向A3中央部に固定されたシリンダブラケット14Aに枢支され、操向シリンダC1の他端は、主支持体10Aに固定されたシリンダブラケット14Bに枢支されている。操向シリンダC1を伸縮することにより走行フレーム10が第1支軸12A回りに揺動し、車輪8(第1車輪8La~第4車輪8Rb)の向きを変更する(操向する)ことができる。本実施形態の走行装置7にあっては、各車輪8を独立して操向可能である。
 第1昇降シリンダC2は、一端が揺動フレーム10Bに枢支され、他端が第1リンク機構15Aに枢支されている。第1リンク機構15Aは、第1リンク15aと第2リンク15bとを有している。第1リンク15aの一端は、主支持体10Aに枢支され、第2リンク15bの一端は揺動フレーム10Bに枢支されている。第1リンク15aと第2リンク15bとの他端は、第1昇降シリンダC2の他端に枢支されている。第1昇降シリンダC2を伸縮することにより揺動フレーム10Bが第2支軸12B回りに上下揺動する。
 第2昇降シリンダC3は、一端が揺動フレーム10Bの前部に枢支され、他端が第2リンク機構15Bに枢支されている。第2リンク機構15Bは、第1リンク15cと第2リンク15dとを有している。第1リンク15cの一端は、揺動フレーム10Bに枢支され、第2リンク15dの一端は車輪フレーム10Cに枢支されている。第1リンク15cと第2リンク15dとの他端は、第2昇降シリンダC3の他端に枢支されている。第2昇降シリンダC3を伸縮することにより車輪フレーム10Cが第3支軸12C回りに上下揺動する。
 第1昇降シリンダC2による揺動フレーム10Bの上下揺動と、第2昇降シリンダC3による車輪フレーム10Cの上下揺動とを組み合わせることによって車輪8を平行状に昇降させることができる。
 走行モータM1は、油圧モータによって形成されている。走行モータM1は、各車輪8に対応して設けられている。即ち、走行装置7は、第1車輪8Laを駆動する走行モータM1と、第2車輪8Raを駆動する走行モータM1と、第3車輪8Lbを駆動する走行モータM1と、第4車輪8Rbを駆動する走行モータM1とを有している。走行モータM1は、車輪8の機体幅方向B3の内方に配置され、車輪フレーム10Cに取り付けられている。走行モータM1は、油圧ポンプP1から吐出される作動油によって駆動され、正逆転可能である。走行モータM1を正逆転させることにより、車輪8の回転を正転方向と逆転方向とに切り換えることができる。
 第2車輪支持体9Ra、第3車輪支持体9Lb及び第4車輪支持体9Rbは、第1車輪支持体9Laを構成する構成部品と同様の構成部品を有している。第2車輪支持体9Raは、第1車輪支持体9Laと左右対称に構成されている。第3車輪支持体9Lbは、第2車輪支持体9Raを機体6の中心を通る上下方向のセンタ軸心回りに180°回転させた形態を呈している。第4車輪支持体9Rbは、第1車輪支持体9Laをセンタ軸心回りに180°回転させた形態を呈している。
 第1車輪支持体9Laに装備された油圧アクチュエータは、第1コントロールバルブCV1によって制御される。第2車輪支持体9Raに装備された油圧アクチュエータは、第2コントロールバルブCV2によって制御される。第3車輪支持体9Lbに装備された油圧アクチュエータは、第3コントロールバルブCV3によって制御される。第4車輪支持体9Rbに装備された油圧アクチュエータは、第4コントロールバルブCV4によって制御される。
 したがって、第1車輪8La~第4車輪8Rbは、それぞれ独立的に操向可能である。また、第1車輪8La~第4車輪8Rbは、それぞれ独立的に昇降可能である。
 上記走行装置7にあっては、第1車輪8La~第4車輪8Rbを操向操作することで走行体3を操向することができる。第1車輪8La~第4車輪8Rbを正転させることで走行体3を前進させることができ、逆転させることにより走行体3を後進させることができる。第1車輪8La~第4車輪8Rbを昇降することにより走行体3を昇降することができる。第1車輪8La及び第2車輪8Raを第3車輪8Lb及び第4車輪8Rbに対して昇降することにより、或いは、第3車輪8Lb及び第4車輪8Rbを第1車輪8La及び第2車輪8Raに対して昇降することにより、機体6を前傾または後傾させることができる。第1車輪8La及び第3車輪8Lbを第2車輪8Ra及び第4車輪8Rbに対して昇降することにより、或いは、第2車輪8Ra及び第4車輪8Rbを第1車輪8La及び第3車輪8Lbに対して昇降することにより、機体6を、機体幅方向B3の一側が他側よりも高い傾斜状にすることができる。
 農業用ロボット1は、走行体3に装着されたマニピュレータ(作業部)4を備えている。マニピュレータ(作業部)4は、作業を行う部分であって、例えば、本実施形態では、少なくとも作物2の収穫を行うことが可能な装置である。
 図3、図4に示すように、マニピュレータ4は、走行体3(機体6)に着脱可能に装着された装着体16と、装着体16に取り付けられたアーム17と、アーム17に設けられていて作物(対象物)2を把持可能なロボットハンド18とを備えている。
 図1に示すように、装着体16は、本実施形態では、走行体3の後部に設けられている。なお、装着体16は、走行体3の前部に設けられていてもよい。つまり、走行体3における前後方向A3の中央部から一方側に偏倚して設けられていればよい。また、本実施形態では、農業用ロボット1は、走行体3を前方に進行させて収穫作業を行うので、装着体16は、進行方向とは反対側の方向である進行逆方向側に偏倚して設けられている。装着体16は、箱型に形成されていて走行体3に対して着脱可能である。
 装着体16には、回動フレーム21が立設されている。回動フレーム21は、装着体16の内部に設けられた回動モータM2によって回動軸心J1の周囲を回動可能である。回動フレーム21を回動させることにより、ロボットハンド18を回動軸心J1を中心とする円周方向に移動(位置変更)させることができる。
 図3、図4に示すように、アーム17は、回動フレーム21に上下揺動可能に支持されると共に長手方向の中途部で屈伸可能である。アーム17は、メインアーム29とサブアーム30とを有している。
 メインアーム29は、回動フレーム21に上下揺動可能に枢支され、屈伸可能である。詳しくは、メインアーム29は、回動フレーム21に上下揺動可能に枢支された第1アーム部31と、第1アーム部31に揺動可能に枢支された第2アーム部32とを有し、第1アーム部31に対して第2アーム部32が揺動することで屈伸可能とされている。
 第1アーム部31は、基部側31aがアームブラケット26に枢支されている。第1アーム部31は、図3に示すように、第1アームフレーム31L及び第2アームフレーム31Rを有している。第1アームフレーム31L及び第2アームフレーム31Rは、機体幅方向B3で並べて配置され且つ連結パイプ31A等で相互に連結されている。第1アームフレーム31Lと第2アームフレーム31Rとの基部側31a間にアームブラケット26の上部が挿入され、機体幅方向B3に延伸する軸心を有するアーム枢軸33A(第1アーム枢軸という)を介して第1アームフレーム31L及び第2アームフレーム31Rの基部側31aがアームブラケット26に第1アーム枢軸33Aの軸心回りに回動可能に支持されている。
 第1アームフレーム31L及び第2アームフレーム31Rは中空部材で形成されている。第1アーム部31の長さは、走行体3(機体6)の前後方向A3の長さよりも短く形成されている。
 図4に示すように、第1アーム部31は、基部側31aであって且つ第1アーム枢軸33Aよりも先端側31c寄りに、シリンダ取付部31bを有している。このシリンダ取付部31bとシリンダブラケット27のシリンダ取付部27aとにわたって第1アームシリンダ(第1油圧シリンダ)C4が設けられている。第1アームシリンダC4は、走行体3に設けた油圧ポンプP1から吐出される作動油によって駆動されて伸縮する。第1アームシリンダC4を伸縮させることで第1アーム部31が上下揺動する。第1アーム部31(アーム17)を上下揺動させることにより、ロボットハンド18を昇降させることができる。第1アームシリンダC4には、第1アームシリンダC4のストロークを検出する第1ストロークセンサが設けられている。
 図4に示すように、第1アーム部31の先端側31cには、枢支部材31Bが固定されている。詳しくは、枢支部材31Bは、基部31Baが第1アームフレーム31Lと第2アームフレーム31Rとの間に挿入されて第1アームフレーム31L及び第2アームフレーム31Rに固定されている。枢支部材31Bの基部31Baの下面側には、シリンダステー34が取り付けられている。枢支部材31Bの先端側31Bbは、第1アームフレーム31L及び第2アームフレーム31Rから前方に突出している。
 図3に示すように、第2アーム部32の長さは、第1アーム部31の長さよりも長く形成されている。第2アーム部32は、基部側32aが枢支部材31Bの先端側31Bbに枢支されている。第2アーム部32は、第3アームフレーム32L及び第4アームフレーム32Rを有している。第3アームフレーム32L及び第4アームフレーム32Rは、機体幅方向B3で並べて配置され且つ複数の連結プレート35によって相互に連結されている。第3アームフレーム32L及び第4アームフレーム32Rは中空部材で形成されている。第3アームフレーム32Lと第4アームフレーム32Rとの基部側32a間に枢支部材31Bの先端側31Bbが挿入されている。第3アームフレーム32L及び第4アームフレーム32R(第2アーム部32)は、機体幅方向B3に延伸する軸心を有するアーム枢軸(第2アーム枢軸という)33Bによって枢支部材31Bに枢支されている。
 第2アーム部32の基部側32aであって第2アーム枢軸33Bよりも先端側32b寄りには、シリンダ取付部32cが設けられている。このシリンダ取付部32cとシリンダステー34とにわたって第2アームシリンダ(第2油圧シリンダ)C5が設けられている。第2アームシリンダC5は、走行体3に設けた油圧ポンプP1から吐出される作動油によって駆動されて伸縮する。第2アームシリンダC5を伸縮させることで第1アーム部31に対して第2アーム部32が揺動し、メインアーム29(アーム17)が屈伸(曲げたり伸ばしたりすること)する。なお、本実施形態では、メインアーム29は、最も伸びた状態で直線状となるが、最も伸びた状態で若干曲がっていてもよい。
 また、第2アームシリンダC5を伸縮させることで走行体3に対してロボットハンド18を遠近方向に移動させることができる。詳しくは、第2アームシリンダC5を伸長させることでロボットハンド18を走行体3から遠ざける方向に移動させることができ、第2アームシリンダC5を収縮させることでロボットハンド18を走行体3に近づける方向に移動させることができる。
 図4に示すように、第2アームシリンダC5には、第2アームシリンダC5のストロークを検出する第2ストロークセンサが設けられている。
 サブアーム30は、第2アーム部32に突出及び後退可能に設けられている。したがって、サブアーム30を突出及び後退させることにより、アーム17の長さが伸縮可能である。サブアーム30は、角パイプによって直線状に形成されている。サブアーム30は、第3アームフレーム32Lと第4アームフレーム32Rとの先端側(前部)間に長手方向移動可能に支持されている。また、サブアーム30は、対向する連結プレート35の間に配置されていて連結プレート35にボルト等の固定具によって固定可能とされている。サブアーム30の一側面には、第3アームフレーム32Lに当接する突起30aが設けられ、他側面には、第4アームフレーム32Rに当接する突起30aが設けられている。突起30aによってサブアーム30のがたつきを抑制することができる。
 サブアーム30は、最も後退させた位置(最後退位置)では、第3アームフレーム32Lと第4アームフレーム32Rとの間に没入する。なお、サブアーム30は、最後退位置で第2アーム部32から若干突出していてもよい。
 図4に示すように、サブアーム30の先端側には、吊りプレート37が固定されている。吊りプレート37にロボットハンド18が枢支され、吊り下げられる(図1参照)。つまり、ロボットハンド18は、サブアーム30の先端側に揺動可能に取り付けられる。第2アーム部32の先端側には、サブアーム30の第2アーム部32からの突出量を測定(検出)する第3ストロークセンサが設けられている。
 図1、図2に示すように、ロボットハンド18は、ベース部材18Aと、複数の把持ツメ18Bとを有している。ベース部材18Aの上面側には連結片63が設けられている。連結片63は吊りプレート37に枢支されている。つまり、ロボットハンド18はアーム17に吊り下げられている。複数の把持ツメ18Bは、ベース部材18Aの下面側に揺動可能に取り付けられている。ロボットハンド18は、複数の把持ツメ18Bが揺動することにより、把持ツメ18Bと把持ツメ18Bとの間で作物2を把持することが可能(図2参照)であると共に、把持した作物2を解放することが可能である。
 図1、図2に示すように、農業用ロボット1は、光学式センサ5A、5Bを備えている。光学式センサ5A、5Bは、CCD(Charge Coupled Devices:電荷結合素子)イメージセンサを搭載したCCDカメラ、CMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)イメージセンサを搭載したCMOSカメラ、赤外線カメラである。この実施形態では、光学式センサ5A、5Bは、撮像装置(CCDカメラ、CMOSカメラ、赤外線カメラ)である。光学式センサ5A、5Bは、レーザセンサ、即ち、ライダー(LiDAR: Light Detection And Ranging)であってもよい。レーザセンサ(ライダー)は、1秒間に何百万回ものパルス状の赤外線等を照射し、跳ね返って戻ってくるまでの時間を測定することで、走行体3周辺の3Dマップを構築することができるセンサである。この実施形態では、光学式センサ5A、5Bは、撮像装置(CCDカメラ、CMOSカメラ、赤外線カメラ)である。
 光学式センサ5Aは、回動フレーム21に取り付けられている。詳しくは、アームブラケット26の上部に支柱40を介して取り付けられている。これに限定されることはなく、光学式センサ5Aは、走行体3等に取り付けてもよい。また、光学式センサ5Aは複数箇所に設けられていてもよい。つまり、農業用ロボット1は、光学式センサ5Aを複数有していてもよい。光学式センサ5Aは、走行体3の周囲を撮影可能であって、走行体3の周囲の情報を撮影によって取得する。
 光学式センサ5Bは、第2アーム部32の先端側に取り付けられている。光学式センサ5Bは、作物2を撮像することによって、例えば、作物2の大きさ、形、色、模様(スイカにあっては縞模様)、傷などの品質情報を取得することができる。
 図1、図2に示すように、農業用ロボット1は、打音センサ50Cを備えている。打音センサ50Cは、作物2に打撃を与えた(作物2を叩いた)ときの打音を取得するセンサである。図7に示すように、打音センサ50Cは、ロボットハンド18(ベース部材18A)に設けられている。
 打音センサ50Cは、打撃機構51と、録音機構52とを有している。打撃機構51は、把持ツメ18Bで把持された作物2に対して進退可能な打撃部材51Aを有している。打撃部材51Aは、当該打撃部材51Aを軸方向に移動させるアクチュエータ51Bに連結されている。アクチュエータ51Bは、例えば、電動であって、制御信号に応じて打撃部材51Aを軸方向に移動させることで、作物2に打撃を与えて打音を発生させる。録音機構52は、マイク(高指向性マイク)を有し、打撃部材51Aで作物2を打撃することによって発生した打音を録音(記録)する。
 図8に示すように、農業用ロボット1は、制御装置41を有している。制御装置41は、例えば、CPU(Central Processing Unit)、EEPROM(Electrically Erasable Programmable Read-Only Memory)などを備えたマイクロコンピュータ等である。
 制御装置41には、光学式センサ5A、5B、打音センサ50C、走行モータM1、回動モータM2が接続されている。また、制御装置41には、複数の制御弁42が接続されている。制御弁42は、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D、第5制御弁42Eを含んでいる。
 第1制御弁42Aは、操向シリンダC1を制御する弁、第2制御弁42Bは、第1昇降シリンダC2を制御する弁、第3制御弁42Cは、第2昇降シリンダC3を制御する弁、第4制御弁42Dは、第1アームシリンダC4を制御する弁、第5制御弁42Eは、第2アームシリンダC5を制御する弁である。
 第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、例えば、制御装置41からの制御信号に基づいて作動する電磁弁である。より詳しくは、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、制御信号によって複数の位置に切り換わる電磁弁(3位置切換電磁弁)である。
 制御装置41が第1制御弁42Aに制御信号を出力すると、制御信号に応じて第1制御弁42Aが所定位置に切り換わる。制御装置41が第2制御弁42Bに制御信号を出力すると、制御信号に応じて第2制御弁42Bが所定位置に切り換わる。
 また、制御装置41が第3制御弁42Cに制御信号を出力すると、制御信号に応じて第3制御弁42Cが所定位置に切り換わる。制御装置41が第4制御弁42Dに制御信号を出力すると、制御信号に応じて第4制御弁42Dが所定位置に切り換わる。制御装置41が第5制御弁42Eに制御信号を出力すると、制御信号に応じて第5制御弁42Eが所定位置に切り換わる。
 第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eには、油路46が接続され、当該油路46には、作動油を吐出する油圧ポンプP1が接続されている。
 以上によれば、第1制御弁42Aの切り換わりによって、操向シリンダC1のボトム側又はロッド側への作動油の供給が切り換わり、操向シリンダC1が伸縮する。第2制御弁42Bの切り換わりによって、第1昇降シリンダC2のボトム側又はロッド側への作動油の供給が切り換わり、第1昇降シリンダC2が伸縮する。第3制御弁42Cの切り換わりによって、第2昇降シリンダC3のボトム側又はロッド側への作動油の供給が切り換わり、第2昇降シリンダC3が伸縮する。
 また、第4制御弁42Dの切り換わりによって、第1アームシリンダC4のボトム側又はロッド側への作動油の供給が切り換わり、第1アームシリンダC4が伸縮する。第5制御弁42Eの切り換わりによって、第2アームシリンダC5のボトム側又はロッド側への作動油の供給が切り換わり、第2アームシリンダC5が伸縮する。
 農業用ロボット1は、走行制御部41Aを有している。走行制御部41Aは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 走行制御部41Aは、走行装置7を制御する。即ち、走行制御部41Aは、操向シリンダC1(第1制御弁42A)、走行モータM1を制御する。走行制御部41Aは、第1制御弁42Aに制御信号を出力して、操向シリンダC1を伸縮させることによって、走行装置7(機体6)の操舵方向の変更を行う。走行制御部41Aは、走行モータM1に制御信号を出力して、走行モータM1の回転数又は回転方向を変更することにより、走行装置7(機体6)の速度の変更、走行装置7(機体6)の進行方向の変更を行う。
 また、走行制御部41Aは、機体6の昇降、傾き等の制御を行ってもよい。例えば、走行制御部41Aは、第2制御弁42Bに制御信号を出力して、第1昇降シリンダC2を伸縮することによって、機体6の昇降、傾きの変更を行う。また、走行制御部41Aは、第3制御弁42Cに制御信号を出力して、第2昇降シリンダC3を伸縮することによって、機体6の昇降、傾きの変更を行う。
 以上のように、走行制御部41Aの制御によって、農業用ロボット1は、施設100など自立走行することができる。
 農業用ロボット1は、作業制御部41Bを有している。作業制御部41Bは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 作業制御部41Bは、マニピュレータ(作業部)4を制御する。即ち、作業制御部41Bは、第1アームシリンダC4、第2アームシリンダC5、回動モータM2を制御する。作業制御部41Bは、第4制御弁42Dに制御信号を出力して、第1アームシリンダC4を伸縮させることによって、第1アーム部31の揺動を行う。作業制御部41Bは、第5制御弁42Eに制御信号を出力して、第2アームシリンダC5を伸縮させることによって、第2アーム部32の揺動を行う。また、作業制御部41Bは、回動モータM2に制御信号を出力することによって、回動モータM2の回転方向を変更することにより、マニピュレータ(作業部)4の回動を行う。
 以上のように、作業制御部41Bは、ロボットハンド18を任意(所望)の位置に移動させることができる。詳しくは、回動フレーム21の回動による回動軸心J1を中心とする円周方向のロボットハンド18の移動、第1アーム部31の上下揺動によるロボットハンド18の昇降、第2アーム部32の揺動によるロボットハンド18の走行体3に対する遠近方向の移動によって、ロボットハンド18を目的の位置に移動させることができる。
 作業制御部41Bは、アクチュエータ51B(打撃部材51A)を制御する。例えば、アクチュエータ51Bに制御信号を出力することで、アクチュエータ51Bを作動させ、打撃部材51Aによって作物2に対して打撃を与える制御(打撃制御)を行う。
 さて、農業用ロボット1は、光学式センサ5Aによって得られたセンシングデータに基づいて、走行体3(機体6)の位置を判断しながら走行、作業などを行ってもよい。
 図8に示すように、農業用ロボット1は、場所管理部41Cを有している。場所管理部41Cは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 場所管理部41Cは、光学式センサ5Aで得られたセンシングデータに基づいて、作物2を栽培する施設100内に走行体3(機体6)が位置するか否かを判断する。光学式センサ5Aが撮像装置である場合、センシングデータは、撮像した撮像画像(画像データ)である。光学式センサ5Aがレーザセンサ(ライダー)である場合、光学式センサ5Aからセンシングした対象物(物体)までの距離、方向を含むスキャンデータである。
 以下、場所管理部41Cにおける処理について詳しく説明する。
 図16A、図16Bに示すように、場所管理部41Cは、光学式センサ5Aによって得られた撮像画像H1を参照する。場所管理部41Cは、参照した撮像画像H1に施設100を構成する構造物が含まれているか判断する。
 例えば、場所管理部41Cは、撮像画像H1に対して画像処理を実行することで、撮像画像H1に、施設100を構成する構造物が含まれているか否かの解析を行う。場所管理部41Cは、ハウス101のフレーム110(支柱部材110A、連結部材110B)、換気扇102A、循環扇102B、熱交換装置102C等の撮像画像H1が含まれているか否かの解析を行う。
 また、場所管理部41Cは、構造物(フレーム110、支柱部材110A、連結部材110B、換気扇102A、循環扇102B、熱交換装置102C)が含まれている場合、撮像画像H1に示された構造物の形状が施設100内から見た形状(第1プロファイリング)R1と同じであるかを判断する。場所管理部41Cは、撮像画像H1の構造物において、当該構造物の輪郭、凹凸、表面の色(グラデーション)などのから得られる形状(プロファイリング)が、施設100内から見た第1プロファイリングR1と同じであるか否かを判断する。
 具体的には、場所管理部41Cは、学習済みのモデルと、撮像画像H1とに基づいて、撮像画像H1に示された構造物の形状が第1プロファイリングR1であるか否かを判断する。学習済みのモデルとは、複数のセンシングデータ(撮像画像H1)を用意して、人工知能(AI)による深層学習によって得られたモデルであり、所定の撮像画像H1から抽出された構造物の形状が、施設100内から見た構造物の形状であるかを判断することができるモデルである。
 学習済みモデルを構築するためには、図9に示すように、施設100内において、農業用ロボット1を栽培場所105の間の通路106に走行させながら、光学式センサ5Aで複数のセンシングデータ(撮像画像H1)を取得するデータ取得作業を行う。データ取得作業では、農業用ロボット1で実際に行う農作業を想定して、作業開始点P11から作業終了点P12まで栽培場所105に沿って農業用ロボット1を走行させながら複数のセンシングデータ(撮像画像H1)を取得する。
 そして、複数のセンシングデータ(撮像画像H1)を、制御装置41に格納して、人工知能(AI)による深層学習を実行し、学習済みモデルを構築する(モデル構築作業)。
 なお、上述した実施形態では、モデル構築作業において、農業用ロボット1が複数のセンシングデータ(撮像画像H1)を取得することによって、学習済みモデルを構築させているが、複数のセンシングデータ(撮像画像H1)を農業用ロボット1とは別のコンピュータに送信して、当該コンピュータによってモデルを構築し、構築した学習済みモデルを、制御装置41に格納してもよい。
 また、上述した実施形態では、実際に農業用ロボット1を、施設100内を走行させたときの撮像画像H1を用いて学習済みモデルを構築したが、構造物(フレーム110、支柱部材110A、連結部材110B、換気扇102A、循環扇102B、熱交換装置102C)の撮像画像を、様々なデータベースから制御装置41又はコンピュータに取り込み、取り込んだデータベースの撮像画像を用いて学習済みモデルを構築してもよい。
 また、図10Aに示すように、学習済みモデルを構築するためのセンシングデータ(撮像画像H1)は、施設100で作物2を栽培する時期に分けて、グループ化しておき、グループ化されたセンシングデータ(撮像画像H1)毎に、学習済みモデルを構築してもよい。
 例えば、図10Aに示すように、第1グループG1は、作物2を栽培する前の施設100内のセンシングデータ(撮像画像H1)であり、当該センシングデータ(撮像画像H1)には、作物2の画像が含まれていない。第2グループG2は、作物2を栽培した初期のセンシングデータ(撮像画像H1)であり、当該センシングデータ(撮像画像H1)には、作物2が成長した初期の画像が含まれている。
 第3グループG3は、作物2を栽培した中期のセンシングデータ(撮像画像H1)であり、当該センシングデータ(撮像画像H1)には、作物2が成長した中期の画像が含まれている。第4グループG4は、作物2を栽培した後期のセンシングデータ(撮像画像H1)であり、当該センシングデータ(撮像画像H1)には、作物2が成長した後期の画像が含まれている。
 したがって、第1グループG1のセンシングデータで得られた学習済みモデル(第1モデル)は、作物2が施設100に存在しないときの構造物の形状を判断するモデルである。また、第2グループG2のセンシングデータで得られた学習済みモデル(第2モデル)は、作物2の栽培が初期であるときの構造物の形状を判断するモデルである。第3グループG3のセンシングデータで得られた学習済みモデル(第3モデル)は、作物2の栽培が中期であるときの構造物の形状を判断するモデルである。第4グループG4のセンシングデータで得られた学習済みモデル(第4モデル)は、作物2の栽培が後期であるときの構造物の形状を判断するモデルである。
 場所管理部41Cは、現在のセンシングデータ(撮像画像H1)を、学習済みのモデル(第1モデル~第4モデル)に適用して、当該現在のセンシングデータ(撮像画像H1)の構造物の形状が施設100内から見た形状(第1プロファイリングR1)と同じである(形状がほぼ同じである)と判断される場合、場所管理部41Cは、農業用ロボット1(走行体3)が施設100内に位置していると判断し、センシングデータ(撮像画像H1)の構造物の形状が、第1プロファイリングR1の形状と異なる判断した場合、農業用ロボット1(走行体3)が施設100外に位置していると判断する。
 さて、上述した実施形態では、センシングデータ(撮像画像H1)が施設100の構造物の第1プロファイリングR1であるか否かに基づいて、農業用ロボット1が施設100内に位置しているか否かを判断していたが、これに加え、センシングデータ(撮像画像H1)に作物2の栽培場所105の第2プロファイリングが含まれる場合、走行体3(機体6)が施設100内であると判断してもよい。
 図8に記載の場所管理部41Cは、図16A、図16Bに示すように、センシングデータ(撮像画像H1)に、第1プロファイリングR1に加えて作物2の栽培場所105の第2プロファイリングR2が含まれる場合、農業用ロボット1(走行体3)が施設100内であると判断する。第2プロファイリングR2は、作物2の形状、又は、作物2及び栽培場所105の形状である。
 上述したように、農業用ロボット1(走行体3)が施設100内であるか否かの判断において、第1プロファイリングR1及び第2プロファイリングR2を用いる場合、図10Bに示すように、例えば、構造物と作物2とが含まれる形状を判断する学習済みモデル(第5モデル)、構造物、作物2及び栽培場所105が含まれる形状を判断する学習済みモデル(第6モデル)を用いる。第5モデル及び第6モデルは、第2グループG2~第4グループG4のセンシングデータから構築すればよい。
 場所管理部41Cは、センシングデータ(撮像画像H1)を第5モデル又は第6モデルに適用し、当該センシングデータ(撮像画像H1)が、第1プロファイリングR1及び第2プロファイリングR2と一致する(形状が同じである)と判断される場合、場所管理部41Cは、農業用ロボット1(走行体3)が施設100内に位置していると判断する。一方、場所管理部41Cは、走行又は作業開始後、センシングデータ(撮像画像H1)を第5モデル又は第6モデルに適用し、当該センシングデータ(撮像画像H1)が、第1プロファイリングR1及び第2プロファイリングR2と一致しない場合、場所管理部41Cは、農業用ロボット1(走行体3)が施設100内に位置していないと判断する。
 なお、図10Bに示すように、場所管理部41Cは、例えば、作物2の形状を判断する学習済みモデル(第7モデル)を有していてもよい。第7モデルは、少なくとも作物2が含まれている撮像画像H1を用いて構築することが可能である。例えば、第7モデルは、上述した第2グループG2~第4グループG4のセンシングデータから構築してもよいし、作物2の撮像画像を様々なデータベースから制御装置41又はコンピュータに取り込み、取り込んだデータベースの撮像画像を用いて構築してもよく、限定されない。
 さて、上述した実施形態では、図16A、図16Bに示したように、光学式センサ5Aによって得られたセンシングデータ(撮像画像H1)によって、農業用ロボット1(走行体3)が施設100内に位置しているか否かを判断しているが、これに加えて、農業用ロボット1(走行体3)は、センシングデータ(撮像画像H1)に含まれる構造物の形状(第1プロファイリング)及び第2プロファイリング(作物2の形状、又は、作物2の形状及び栽培場所105の形状)に基づいて、自立走行を行っている。
 まず、走行制御部41Aは、農業用ロボット1(走行体3)が施設100内に位置していると判断された場合、走行モータM1に制御信号等を出力することで、当該農業用ロボット1(走行体3)の走行を開始する。
 走行制御部41Aは、走行開始後、図16A、図16Bに示したようなセンシングデータ(撮像画像H1)から通路106を抽出する。走行制御部41Aは、走行中(走行開始後)に抽出した通路106(栽培場所105)に沿って、農業用ロボット1(走行体3)が走行するように、操向シリンダC1(第1制御弁42A)を制御する。通路106の判断は、例えば、センシングデータ(撮像画像H1)において、隣接する栽培場所105の間であると判断してもよいし、作物2の間であると判断してもよく、限定されない。
 また、農業用ロボット1(走行体3)の走行中において、場所管理部41Cは、当該走行中に光学式センサ5Aによって得られたセンシングデータ(撮像画像H1)を、少なくとも第1モデル~第6モデルのいずれかに適用して、走行中の撮像画像H1内に含まれる構造物が、フレーム110、支柱部材110A、連結部材110B、換気扇102A、循環扇102B、熱交換装置102Cのいずれであるかを判断し、農業用ロボット1(走行体3)と構造物との距離が短い場合、停止指令を走行制御部41Aに出力する。走行制御部41Aは、停止指令を取得した場合、自動的に農業用ロボット1(走行体3)の走行を停止する。
 或いは、場所管理部41Cは、走行中のセンシングデータ(撮像画像H1)を、少なくとも第1モデル~第6モデルのいずれかに適用して、撮像画像H1において、構造物、作物2、栽培場所105、通路106のそれぞれの位置関係を判断し、農業用ロボット1(走行体3)の前方又は後方に、障害物が無い場所(走行が可能な場所)を抽出して、農業用ロボット1(走行体3)の走行ルート(進行方向、速度など)を自動的に作成してもよい。この場合、走行制御部41Aは、場所管理部41Cで作成された走行ルートに沿って移動するように、走行の制御を行う。
 或いは、場所管理部41Cは、走行中のセンシングデータ(撮像画像H1)を、少なくとも第1モデル~第6モデルのいずれかに適用して、撮像画像H1において、構造物、作物2、栽培場所105、通路106のそれぞれの位置関係から、施設100内における農業用ロボット1(走行体3)の位置(走行体位置)を推定してもよい。
 なお、走行制御部41Aによって、農業用ロボット1(走行体3)を施設100内にて自立走行させた場合、制御装置41は、走行中の光学式センサ5Aによって得られた撮像画像H1を取得し、取得した撮像画像H1を用いて、学習済みモデル(第1モデル~第6モデル)の強化学習を行ってもよい。
 農業用ロボット1は、図8に示すように、マップ生成部41Dを有していてもよい。マップ生成部41Dは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 マップ生成部41Dは、撮像画像H1から得られた第1プロファイリング(構造物の形状)と、第2プロファイリング(作物2の形状、又は、作物2の形状及び栽培場所105の形状)とに基づいて、施設100内のマップを生成する。マップ生成部41Dは、例えば、図9に示したように、作業開始点P11から作業終了点P12まで栽培場所105に沿って農業用ロボット1を走行させたときの複数のセンシングデータ(撮像画像H1)を取得する。マップ生成部41Dは、複数のセンシングデータ(撮像画像H1)から上述した学習済みモデルを用いて、所定位置における構造物、作物、通路の位置関係を推定する。具体的には、マップ生成部41Dは、作業開始点P11から作業終了点P12までの複数の撮像画像H1n(n=1,2,3・・・・n)をそれぞれ参照し、複数の撮像画像H1nに含まれる被写体(構造物、作物2、通路106)をそれぞれ抽出する一方、抽出した被写体(構造物、作物2、通路106)のそれぞれの形状に基づいて、撮像画像H1nが撮像された撮像位置Qn(X座標:Qnx、Y座標:Qny)を推定する。また、マップ生成部41Dは、推定した撮像位置Qnと、撮像画像H1nに描写された被写体(構造物、作物2、通路106)との距離(水平距離)Lnを推定し、図11に示すように、構造物としてハウス101の平面輪郭、作物2の位置及び形状、通路106の位置及び形状が含まれるマップF1を生成する。マップ生成部41Dが作成したマップF1は、制御装置41に記憶(保存)される。マップF1は、農業用ロボット1に設けた通信装置を用いて、外部機器(携帯端末、パーソナルコンピュータ、サーバ)等に送信してもよいし、マップF1は、走行制御部41Aに出力したり、作業制御部41Bに出力することによって、走行、作業に用いてもよい。
 例えば、走行開始後、場所管理部41Cは、走行の開始後のセンシングデータ(撮像画像H1)を、少なくとも第1モデル~第6モデルのいずれかに適用して、撮像画像H1において、構造物、作物2、栽培場所105、通路106のそれぞれの位置関係から、施設100内における農業用ロボット1(走行体3)の位置(走行体位置)を推定し、走行制御部41Aは、走行車体位置とマップF1とを比較して、農業用ロボット1(走行体3)が通路106に沿って移動するように制御する。
 作業制御部41Bは、農業用ロボット1(走行体3)の自立走行において、光学式センサ5Aのセンシングデータ(撮像画像H1)を参照する。作業制御部41Bは、センシングデータ(撮像画像H1)を第7モデルに適用して、作物2が農業用ロボット1(走行体3)の周囲に存在するか否かを判断する。即ち、作業制御部41Bは、センシングデータ(撮像画像H1)に作物2のプロファイリング(第3プロファイリング)が含まれている場合、農業用ロボット1(走行体3)の周囲に存在すると判断し、第3プロファイリングが含まれていない場合、農業用ロボット1(走行体3)の周囲に存在しないと判断する。
 作業制御部41Bは、センシングデータ(撮像画像H1)に作物2が映っている場合(第3プロファイリングが含まれる場合)、当該作物2に向けて、第1アームシリンダC4、第2アームシリンダC5、回動モータM2を制御することにより、ロボットハンド18を移動させる。
 作業制御部41Bは、例えば、ロボットハンド18で作物2を把持して、当該把持した作物2を通路106側へ移動させることにより、作物2の収穫を行う。或いは、作業制御部41Bは、ロボットハンド18を作物2に近づけた状態(把持した状態)で、図7に示すように、アクチュエータ51Bに制御信号を出力することで、打撃部材51Aによって作物2に対して打撃を与える。
 図17は、農業用ロボットの一連の動作のフローを示している。
 図17に示すように、農業用ロボット1を施設100内において、通路106に沿って走行させ、走行時に光学式センサ5Aが検出したセンシングデータ(撮像画像H1)を取得する(S1)。即ち、農業用ロボット1を施設100内にて走行させることでデータ取得作業を行う(S1)。データ取得作業後は、制御装置41を用いてモデル構築作業を行い学習済みモデル(第1モデル~第7モデル)の構築を行う(S2)。なお、農業用ロボット1において、データ取得作業S1を繰り返し行って、多くのセンシングデータ(撮像画像H1)を取得しておくと、モデルの精度を向上させることができる。
 学習済みモデルの構築後(S2)、農業用ロボット1にて作業を行う際に、当該農業用ロボット1を自立走行させ(S3)、自立走行時に光学式センサ5Aが検出したセンシングデータ(撮像画像H1)を取得する(S4)。自立走行時の撮像画像H1を取得後、場所管理部41Cは、第1モデル~第7モデルに撮像画像H1を適用して、農業用ロボット1(走行体3)が施設100内に位置しているか否かを判断する(S5)。場所管理部41Cが施設100内に位置していると判断した場合(S5、Yes)、農業用ロボット1は、光学式センサ5Aによってセンシングした撮像画像H1に基づいて施設100内を自立走行する(S6:自立走行)。
 自立走行S6において、場所管理部41Cは、光学式センサ5Aが検出したセンシングデータ(撮像画像H1)に基づいて走行ルートを作成し、走行制御部41Aは、場所管理部41Cが作成した走行ルートに応じて走行の制御(自立走行の制御)を行う。
 或いは、自立走行S6において、場所管理部41Cは、センシングデータ(撮像画像H1)に基づいて、農業用ロボット1(走行体3)の位置(走行体位置)を推定し、走行制御部41Aは、走行車体位置とマップF1とを比較して、農業用ロボット1(走行体3)が通路106に沿って移動するように自立走行の制御を行う。
 或いは、自立走行S6において、走行制御部41Aは、光学式センサ5Aが検出したセンシングデータ(撮像画像H1)から画像処理により通路106を抽出して、農業用ロボット1(走行体3)が通路106に沿って移動するように自立走行の制御を行う。
 また、農業用ロボット1が自立走行S6を行っているとき、作業制御部41Bは、センシングデータ(撮像画像H1)を参照して、作物2が農業用ロボット1の周囲に存在しているときは、ロボットハンド18を制御し、収穫、打音などの作業を行う(S7)。なお、自立走行時に制御装置41に保存されたマップF1を参照して、マップF1から作物の位置を判断してもよい。なお、作業を行っているときは、走行制御部41Aは、自立走行S6を停止する。
 上述した実施形態では、センシングデータとして、撮像画像H1を例にあげ説明したが、センシングデータは、撮像画像H1に限定されず、レーザセンサ(ライダー)でセンシングすることにより得られたスキャンデータであってもよい。スキャンデータを用いる場合は、上述した実施形態における撮像画像H1を「スキャンデータ」に読み替えれば、スキャンデータを用いた実施形態の説明になるため、スキャンデータの説明は省略する。
 農業用ロボット1は、走行体3と、走行体3に設けられ、作物に関する作業を行う作業部4と、走行体3に設けられた光学式センサ5A、5Bと、光学式センサ5A、5Bで得られたセンシングデータに基づいて、作物2を栽培する施設100内に走行体3が位置するか否かを判断する場所管理部41Cと、を備え、作業部4は、場所管理部41Cによって走行体3が施設100内に位置すると判断した場合に、作業部4に基づいて作物2に関する作業を行う。
 農業用ロボット1の支援システムは、走行体3と、走行体3に設けられ作物2に関する作業を行う作業部4と、走行体3に設けられた光学式センサ5A、5Bとを備え、走行体3が施設100内に位置する場合に作業部4に基づいて作物2に関する作業を行う農業用ロボット1の支援システムであって、光学式センサ5A、5Bで得られたセンシングデータに基づいて、作物2を栽培する施設100内に走行体3が位置するか否かを判断する場所管理部41Cを備えている。
 これによれば、光学式センサ5A、5Bから得られたセンシングデータによって、走行体3が施設100に位置しているか否かを簡単に把握することができ、農業用ロボット1が簡単に施設100内で作物2に関する作業を行うことができる。即ち、センシングデータによって、農業用ロボット1が施設100内の状況を簡単に把握することができ、施設100内における農業用ロボットの作業を効率的に行うことができる。
 場所管理部41Cは、センシングデータに施設100を構成する構造物が含まれ且つ構造物が施設100内から見た第1プロファイリングである場合に、走行体3が施設100内であると判断する。これによれば、施設100内から見た構造物の第1プロファイリングによって簡単に、走行体3が施設100に位置しているか否かを簡単に把握することができる。
 場所管理部41Cは、センシングデータに、第1プロファイリングに加えて作物2の栽培場所105の第2プロファイリングが含まれる場合に、走行体3が施設100内であると判断する。これによれば、栽培場所105の状態、即ち、栽培場所105で栽培している作物2が生育によって変化しても、簡単に施設100内であるかを判断することができる。
 農業用ロボット1又は農業用ロボット1の支援システムは、第1プロファイリングと第2プロファイリングとに基づいて、走行体3の走行を制御する走行制御部41Aを備えている。これによれば、走行制御部41Aは、施設100内の構造物及び栽培場所105をセンシングしたときのプロファイリング(第1プロファイリングと第2プロファイリング)を参照しながら、走行体3を施設100内で適正に走行させることができる。
 農業用ロボット1又は農業用ロボット1の支援システムは、第1プロファイリングと、第2プロファイリングに含まれる作物2に基づいて、施設100内のマップを生成するマップ生成部41Dを備えている。これによれば、施設100内を簡単にマップ(地図)にすることができ、作物2の位置、構造物の位置などを把握することができる。
 場所管理部41Cは、学習済みのモデルと、センシングデータとに基づいて、第1プロファイリングであるかを判断する。これによれば、簡単に構造物の形状を把握することができる。
 場所管理部41Cは、走行体3が施設100内を走行したときのセンシングデータを取得することで、強化学習を行う。これによれば、走行体3によって施設100を走行させるだけで、学習済みモデルの強化学習を行うことができ、学習済みモデルをより精度よりモデルへと構築することができる。
 場所管理部41Cは、構造物として施設100を構成するフレーム100のセンシングデータに基づいて走行体3が施設100内に位置しているか否かを判断する。これによれば、フレーム100のセンシングデータによって簡単に、走行体3が施設100内であるかを把握することができる。
(第2実施形態)
 図面を参照しつつ、本発明の第2実施形態について説明する。第1実施形態と同じ構成要素には、同じ参照符号を付してその詳細な説明を省略する。
 図18に示すように、農業用ロボット1は、制御装置41を有している。制御装置41は、例えば、CPU(Central Processing Unit)、EEPROM(Electrically Erasable Programmable Read-Only Memory)などを備えたマイクロコンピュータ等である。
 制御装置41には、光学式センサ5A、5B、打音センサ50C、走行モータM1、回動モータM2が接続されている。また、制御装置41には、複数の制御弁42が接続されている。制御弁42は、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D、第5制御弁42Eを含んでいる。
 第1制御弁42Aは、操向シリンダC1を制御する弁、第2制御弁42Bは、第1昇降シリンダC2を制御する弁、第3制御弁42Cは、第2昇降シリンダC3を制御する弁、第4制御弁42Dは、第1アームシリンダC4を制御する弁、第5制御弁42Eは、第2アームシリンダC5を制御する弁である。
 第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、例えば、制御装置41からの制御信号に基づいて作動する電磁弁である。より詳しくは、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、制御信号によって複数の位置に切り換わる電磁弁(3位置切換電磁弁)である。
 制御装置41が第1制御弁42Aに制御信号を出力すると、制御信号に応じて第1制御弁42Aが所定位置に切り換わる。制御装置41が第2制御弁42Bに制御信号を出力すると、制御信号に応じて第2制御弁42Bが所定位置に切り換わる。
 また、制御装置41が第3制御弁42Cに制御信号を出力すると、制御信号に応じて第3制御弁42Cが所定位置に切り換わる。制御装置41が第4制御弁42Dに制御信号を出力すると、制御信号に応じて第4制御弁42Dが所定位置に切り換わる。制御装置41が第5制御弁42Eに制御信号を出力すると、制御信号に応じて第5制御弁42Eが所定位置に切り換わる。
 第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eには、油路46が接続され、当該油路46には、作動油を吐出する油圧ポンプP1が接続されている。
 以上によれば、第1制御弁42Aの切り換わりによって、操向シリンダC1のボトム側又はロッド側への作動油の供給が切り換わり、操向シリンダC1が伸縮する。第2制御弁42Bの切り換わりによって、第1昇降シリンダC2のボトム側又はロッド側への作動油の供給が切り換わり、第1昇降シリンダC2が伸縮する。第3制御弁42Cの切り換わりによって、第2昇降シリンダC3のボトム側又はロッド側への作動油の供給が切り換わり、第2昇降シリンダC3が伸縮する。
 また、第4制御弁42Dの切り換わりによって、第1アームシリンダC4のボトム側又はロッド側への作動油の供給が切り換わり、第1アームシリンダC4が伸縮する。第5制御弁42Eの切り換わりによって、第2アームシリンダC5のボトム側又はロッド側への作動油の供給が切り換わり、第2アームシリンダC5が伸縮する。
 農業用ロボット1は、走行制御部41Aを有している。走行制御部41Aは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 走行制御部41Aは、走行装置7を制御する。即ち、走行制御部41Aは、操向シリンダC1(第1制御弁42A)、走行モータM1を制御する。走行制御部41Aは、第1制御弁42Aに制御信号を出力して、操向シリンダC1を伸縮させることによって、走行装置7(機体6)の操舵方向の変更を行う。走行制御部41Aは、走行モータM1に制御信号を出力して、走行モータM1の回転数又は回転方向を変更することにより、走行装置7(機体6)の速度の変更、走行装置7(機体6)の進行方向の変更を行う。
 また、走行制御部41Aは、機体6の昇降、傾き等の制御を行ってもよい。例えば、走行制御部41Aは、第2制御弁42Bに制御信号を出力して、第1昇降シリンダC2を伸縮することによって、機体6の昇降、傾きの変更を行う。また、走行制御部41Aは、第3制御弁42Cに制御信号を出力して、第2昇降シリンダC3を伸縮することによって、機体6の昇降、傾きの変更を行う。
 以上のように、走行制御部41Aの制御によって、農業用ロボット1は、施設100など自立走行することができる。
 農業用ロボット1は、作業制御部41Bを有している。作業制御部41Bは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 作業制御部41Bは、マニピュレータ(作業部)4を制御する。即ち、作業制御部41Bは、第1アームシリンダC4、第2アームシリンダC5、回動モータM2を制御する。作業制御部41Bは、第4制御弁42Dに制御信号を出力して、第1アームシリンダC4を伸縮させることによって、第1アーム部31の揺動を行う。作業制御部41Bは、第5制御弁42Eに制御信号を出力して、第2アームシリンダC5を伸縮させることによって、第2アーム部32の揺動を行う。また、作業制御部41Bは、回動モータM2に制御信号を出力することによって、回動モータM2の回転方向を変更することにより、マニピュレータ(作業部)4の回動を行う。
 以上のように、作業制御部41Bは、ロボットハンド18を任意(所望)の位置に移動させることができる。詳しくは、回動フレーム21の回動による回動軸心J1を中心とする円周方向のロボットハンド18の移動、第1アーム部31の上下揺動によるロボットハンド18の昇降、第2アーム部32の揺動によるロボットハンド18の走行体3に対する遠近方向の移動によって、ロボットハンド18を目的の位置に移動させることができる。
 作業制御部41Bは、アクチュエータ51B(打撃部材51A)を制御する。例えば、アクチュエータ51Bに制御信号を出力することで、アクチュエータ51Bを作動させ、打撃部材51Aによって作物2に対して打撃を与える制御(打撃制御)を行う。
 図18に示すように、農業用ロボット1は、収集装置43を備えている。収集装置43は、打撃部材51Aによって作物2に対して打撃を与えたときにマイク(録音機構52)で集音した音のデータ(音データ)を収集する。収集装置43は、不揮発性のメモリ等で構成されて音データを記憶する記憶装置を含んでいる。
 図19に示すように、収集装置43は、音データとして、作物2に対して打撃を与えた時のマイク(録音機構52)で集音した波形H10を収集する。ここで、収集装置43は、作物2に対して打撃を与える打撃前又は打撃後に、打撃対象である作物2の周囲の音(雑音)をマイク(録音機構52)にて取得し、取得した雑音を解析する。収集装置43は、解析結果を用いて、波形H10に、雑音に対応する波形(雑音波形)が含まれているか否かを判断し、雑音が含まれている場合は、波形H10から雑音波形を除去した波形を、打撃時の波形H10として収集する。即ち、収集装置43は、作物2を打撃したときのノイズ(雑音)を除去する処理を行う。
 雑音波形であるか否かの判断(推定)は、雑音推定モデル(第1モデル)を用いる。雑音推定モデルは、波形の振幅、周波数、波形の変化によって雑音であるかを推定するモデルである。雑音除去モデルは、作物2に対して打撃を行っていない状況下において、施設100内の音を集音し、当該集音した音を、コンピュータに入力して当該コンピュータにおいて人工知能による深層学習を行うことにより構築したモデルである。
 上述した実施形態では、作物2の打撃前、打撃後の周囲の音を予め集音しておき、雑音推定モデル(第1モデル)を用いて、周囲の音から雑音の波形を解析、推定することによって、ノイズを除去していたが、これに代えて、打撃前、打撃後の波形から雑音を判断するのではなく、打撃を行ったときの波形H10の中に雑音波形が含まれているか否かを判断する雑音推定モデル(第2モデル)を用いる。雑音推定モデル(第2モデル)は、打音を行ったときの波形H10をコンピュータに入力して当該コンピュータにおいて人工知能による深層学習を行うことにより構築する。雑音推定モデル(第2モデル)でも、波形H10の振幅、周波数、波形の変化に基づいて、波形H10中の雑音波形を推定する。雑音推定モデル(第2モデル)による雑音波形の推定後は、上述したように、推定結果を用いて、収集装置43が波形H10の中から雑音波形を除去する。
 図20に示すように、農業用ロボット1(走行体3)は、走行制御部41Aの制御によって施設100内を自立走行する。自立走行時において、作業制御部41Bによって、作物2を打撃部材51Aにて打撃を与え、収集装置43は、作物2に打撃が与えられたときの波形H10を作物2毎に収集(保存)する。
 例えば、制御装置41(走行制御部41A)の制御によって、農業用ロボット1を作物2aの周囲に近づける。農業用ロボット1が作物2aに近づくと、作業制御部41Bの打撃制御等によって作物2aに打撃が与えられ、当該作物2aの打撃時の音データを収集装置43が収集する。
 次に、作物2aの音データを収集すると、制御装置41(走行制御部41A)は、音データを収集していない他の作物2bに向けて走行体3を移動させる制御を行い、農業用ロボット1を作物2bの周囲に近づける。農業用ロボット1が作物2bに近づくと、作業制御部41Bの打撃制御等によって作物2bに打撃が与えられ、当該作物2bの打撃時の音データを収集装置43が収集する。
 つまり、制御装置41(走行制御部41A)は、音データを収集装置43が収集後、音データを収集していない他の作物2b、2c・・・の栽培位置Dn(n=1,2,3・・・)に向けて走行体3を移動させる制御を、施設100内において、音データを収集していない作物2が無くなるまで繰り返し行う。
 さて、制御装置41は、光学式センサ5Aによって得られたセンシングデータに基づいて、栽培位置Dnに向けて農業用ロボット1(走行体3)を移動させる。光学式センサ5Aが撮像装置である場合、センシングデータは、撮像した撮像画像(画像データ)である。光学式センサ5Aがレーザセンサ(ライダー)である場合、センシングデータは、光学式センサ5Aからセンシングした対象物(物体)までの距離、方向を含むスキャンデータである。
 図21に示すように、制御装置41は、センシングデータ(撮像画像H1)を参照し、当該センシングデータ(撮像画像H1)の特徴点のマッチング等により、撮像画像H1内に作物2が含まれているか否かを判断する。
 第1センシングデータH10に作物2が含まれていると判断した場合、作物2と農業用ロボット1(走行体3)との相対距離L10を演算する(図20参照)。制御装置41は、撮像画像H1に作物2が含まれていると判断した場合、図16Aに示すように、例えば、撮像画像H1に含まれる被写体である作物2の画像(縦ピクセル、横ピクセル)H2の大きさと、予め設定された基準フレーム(縦ピクセル、横ピクセル)F10の大きさとを比較する。作物2の画像H2が、基準フレームF10のよりも小さい場合、制御装置41は、相対距離L10は、基準フレームF10に対応して定められた基準距離L11よりも長いと判断する。即ち、制御装置11は、作物2は、農業用ロボット1(走行体3)から基準距離L11までの位置よりも遠い所にあると推定する。一方、作物2の画像H2が、基準フレームF10よりも大きい場合、制御装置41は、相対距離L10は、基準距離L11よりも短いと判断する。即ち、制御装置41は、作物2は、農業用ロボット1(走行体3)から基準距離L11までの位置よりも近い所にあると推定する。
 つまり、制御装置41は、作物2の画像H2の大きさと基準フレームF10との大きさを比較し、作物2の画像H2の大きさと基準フレームF10との大きさとの比率と基準距離L11に基づいて、現在の農業用ロボット1と作物2との相対距離L10を求める。即ち、制御装置41は、現在の農業用ロボット1の位置において、相対距離L10が基準距離L11に一致する距離(移動距離)を演算し、走行制御部41Aは、移動距離だけ農業用ロボット1(走行体3)を前進又は後進させる。なお、基準距離L11は、マニピュレータ(作業部)4の先端側(ロボットハンド18)を、走行体3から最も離した状態において、当該ロボットハンド18と走行体3までの距離よりも短く設定されている。即ち、マニピュレータ(作業部)4において、走行体3からロボットハンド18の先端側までのストローク(稼働範囲)よりも、基準距離L11が短くなるように設定されている。
 まとめると、作物2の画像H2と基準フレームF10とが一致したときの作物2と農業用ロボット1(走行体3)との相対距離L10が一定となるように、走行制御部41Aは、作物の栽培位置Dnに向けて移動する。なお、上述した方法では、イメージセンサに対するレンズの位置は変更しない(ピント合わせは行わない)。
 上述した実施形態では、撮像画像H1を用いて、作物2と農業用ロボット1(走行体3)との相対距離L10が一定となる位置に、農業用ロボット1(走行体3)を作物2の栽培位置Dnに向けて移動していたが、光学式センサ5Aがレーザセンサ(ライダー)である場合、制御装置41(走行制御部41A)は、スキャンデータを用いて、現在の農業用ロボット1(走行体3)と作物2との距離(相対距離L10)を演算して、演算した相対距離L10が基準距離L11と一致するように、農業用ロボット1(走行体3)を前進又は後進させる。
 作業制御部41Bは、農業用ロボット1(走行体3)と作物2との相対距離L10が基準距離L11に達したとき、即ち、農業用ロボット1が所定の作物2の栽培位置Dnの周囲に到達したとき、マニピュレータ(作業部)4の先端側(ロボットハンド18)を所定の作物に近づけ、打撃制御を行う。収集装置43は、所定の作物2に打撃が与えられたときの音データを保存する。
 図22Aに示すように、収集装置43が、音データを保存する場合、作物2(作物2a、2b、2c・・・)を識別する識別情報と、音データとを対応づけて打音情報として記憶する。例えば、作物2に対応づけて、当該作物2の近傍に二次元バーコード、マーカ等の識別情報を認識するための識別部材を設置しておき、打音時に識別部材(二次元バーコード、マーカ)を撮像装置にて撮像することにより得ることができる。
 或いは、図22Bに示すように、収集装置43は、識別情報、音データ及び打音時間(月、日、時刻)を対応付けて打音情報として記憶してもよい。例えば、農業用ロボット1に時間を計時する計時装置(タイマー)を設けておき、計時装置によって打音時の時間(打音時間)を計時し、計時した打音時間と、識別情報、音データを対応付けて打音情報として記憶する。
 或いは、収集装置43は、ロボットハンド18で収穫する際に、作業制御部41Bによって打撃制御を行い、図22Cに示すように、打撃制御によって作物2を打音したときの音データ(収穫時の音データ)と、識別情報と、打音時間とを対応づけて打音情報として記憶してもよい。図22Cの場合は、打音を行ったときと、収穫を行ったときとが同じであるため、打音時間は、収穫時期(収穫時間)とみなすことができる。
 スイカ、メロン等において、収穫時の音データに着目した場合、当該収穫時の音データで得られる波形H10の周波数が低く、低い音になる傾向がある。収集装置43は、波形H10の周波数が予め定められた周波数よりも低い場合には、収穫時期の音データとして記憶してもよい。
 農業用ロボット1は、図18に示すように、モデル生成部41Eを有していてもよい。モデル生成部41Eは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 モデル生成部41Eは、収集装置43が収集した複数の音データに基づいて、作物の生育状況を推定するモデルを生成する。モデル生成部41Eは、図22Aの打音情報(音データ、識別情報)を取得する。この場合、モデル生成部41Eは、複数の音データ(波形W10)において、打音の音の大きさ(波形の振幅)、打音の音の高さ(周波数)、打音の波形の変化度合い(音色)について、人工知能による深層学習を行い、生育状況を推定する学習済みモデル(第1生育モデル)を構築する。
 或いは、モデル生成部41Eは、生育モデルを構築するにあたって、複数の音データ(波形W10)だけでなく、図22Bに示した音データに対応付けられた打音時間も取得し、打音時間に基づいて、複数の音データ(波形W10)を栽培の初期、中期、後期にグループ分けを行う。モデル生成部41Eは、各グループ(初期、中期、後期)のそれぞれに属する複数の音データについて深層学習を行って、生育状況を推定する学習済みの生育モデル(第2生育モデル)を構築してもよい。
 或いは、モデル生成部41Eは、図22Cに示すように、打音情報として、音データ、識別情報、収穫時間を取得し、収穫時間に対応する音データにおける深層学習を行い、生育状況として収穫時間を推定する学習済みモデル(第3生育モデル)を構築する。
 上述した実施形態では、施設100内において、農業用ロボット1(走行体3)を走行させながら、打音したときの音データを収集していたが、作物2に対して音データの収集は繰り返し行ってもよい。
 この場合、モデル生成部41Eは、農業用ロボット1(走行体3)を走行させて打音を行ったとき(収集装置43が音データを取得する毎)に、強化学習を行ってもよい。
 農業用ロボット1は、図18に示すように、時期判断部41Fを有していてもよい。時期判断部41Fは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 時期判断部41Fは、学習済みモデル(第1生育モデル、第2生育モデル、第3生育モデル)と、作業時(打撃時)の音データとに基づいて、打撃を与えた作物2が収穫時期であるか否かを判断する。
 図23に示すように、施設100内において、農業用ロボット1を栽培場所105の間の通路106に走行させる。作業時において、制御装置41(走行制御部41A、作業制御部41B)は、光学式センサ5Aから得られたセンシングデータ(撮像画像H1、スキャンデータ)を参照し、作業開始点P11から作業終了点P12まで栽培場所105に沿って農業用ロボット1を走行させる。
 図20に示すように、制御装置41(走行制御部41A、作業制御部41B)は、センシングデータを解析して、農業用ロボット1が作物2の栽培位置Dnの周囲に近づいたと判断した場合、走行制御部41Aは、一旦走行を停止する。作業制御部41Bは、マニピュレータ4を制御して、ロボットハンド18を作物2に近づける。作業制御部41Bは、ロボットハンド18を作物2に近づけた状態で打撃制御を行い、作物2に打撃を与える。収集装置43は、打撃時の音データを取得して保存する一方、時期判断部41Fは、打撃時の音データを少なくとも第1生育モデル、第2生育モデル、第3生育モデルのいずれかに適用する。
 例えば、打撃時の音データを第1生育モデルに適用し、第1生育モデルが、生育状況として、収穫時期と同じ時期である結果を出力した場合、時期判断部41Fは、作物2の収穫時期であると判断し、作業制御部41Bの制御によって、ロボットハンド18で作物2を収穫する。一方、第1生育モデルが、生育状況として、収穫時期と異なる時期である結果を出力した場合、時期判断部41Fは、作物2の収穫時期でないと判断し、作業制御部41Bの制御によって、ロボットハンド18を、打撃を行った作物2から遠ざけることで、作物2を収穫しない。
 或いは、打撃時の音データを第2生育モデルに適用し、第2生育モデルが、生育状況として、作物2が栽培の後期であると結果を出力した場合、時期判断部41Fは、作物2の収穫時期であると判断し、作業制御部41Bの制御によって、ロボットハンド18で作物2を収穫する。第2生育モデルが、生育状況として、作物2が栽培の初期、中期であると結果を出力した場合、時期判断部41Fは、作物2の収穫時期でないと判断し、作業制御部41Bの制御によって、ロボットハンド18を、打撃を行った作物2から遠ざけることで、作物2を収穫しない。
 或いは、打撃時の音データを第3生育モデルに適用し、第3生育モデルが、生育状況として、収穫時期であると結果を出力した場合、時期判断部41Fは、作物2の収穫時期であると判断し、作業制御部41Bの制御によって、ロボットハンド18で作物2を収穫する。一方、第3生育モデルが、生育状況として、収穫時期ではないと結果を出力した場合、時期判断部41Fは、作物2の収穫時期でないと判断し、作業制御部41Bの制御によって、ロボットハンド18を、打撃を行った作物2から遠ざけることで、作物2を収穫しない。
 以上によれば、農業用ロボット1を作業開始点P11から作業終了点P12まで栽培場所105に沿って走行させ、途中で打撃を行った作物2の音データを学習済みモデルに適用して収穫時期であるか否かを判断し、学習済みモデルが収穫時期であると判断した作物2のみ収穫を行う。
 上述した実施形態では、時期判断部41Fは、学習済みモデル(第1生育モデル、第2生育モデル、第3生育モデル)と、作業時(打撃時)の音データとに基づいて、打撃を与えた作物2が収穫時期であるか否かを判断していたが、学習済みモデルを用いずに、収穫時期であるか否かを判断してもよい。
 時期判断部41Fは、収集装置43において、収穫時期に相当する時期の音データをまとめたデータベース(過去の収穫実績情報)を参照し、収穫時期の音データの打音の音の大きさ(波形の振幅)、打音の音の高さ(周波数)、打音の波形の変化度合い(音色)の平均などの基準値を演算する。また、時期判断部41Fは、農業用ロボット1を作業開始点P11から作業終了点P12まで走行させながら打撃作業を行った音データにおいて、打音の音の大きさ(波形の振幅)、打音の音の高さ(周波数)、打音の波形の変化度合い(音色)のそれぞれが基準(平均)から所定範囲内であるか否かを判断し、所定範囲以内であれば、収穫時期と判断し、所定範囲外であれば、収穫時期でないと判断する。
 以上の変形例によれば、農業用ロボット1を作業開始点P11から作業終了点P12まで栽培場所105に沿って走行させ、途中で打撃を行った作物2の音データを、過去の収穫実績情報と比較し、当該音データが過去の収穫実績情報の基準(平均)よりも所定範囲内である場合は、作物2の収穫を行う。
 なお、上述した変形例では、過去の収穫実績情報の平均を求めた例について説明したが、基準は平均以外であってもよく、標準偏差などのバラツキを基準にしてもよく、基準については限定されない。
 図24は、農業用ロボット1及び農業用ロボットの支援システムの変形例を示している。図24に示すように、収集装置43は、サーバ、携帯端末、パーソナルコンピュータなどの外部機器70に、音データを送信可能な通信装置であってもよい。この場合、通信装置である収集装置43は、作物2に打撃が与えられたときの音データ(波形H10)を外部機器70に送信する。外部機器70は、モデル生成部41Eを有していて、農業用ロボット1(通信装置)から送信された音データに基づいて、生育状況を推定する学習済みモデルを構築する。なお、学習済みモデルの構築方法は、上述した実施形態と同じである。
 モデル生成部41Eが学習済みモデルを構築すると、外部機器70は、構築した学習済みモデル(第1生育モデル、第2生育モデル、第3生育モデル)を、農業用ロボット1(通信装置)に送信する。農業用ロボット1(通信装置)が、学習済みモデル(第1生育モデル、第2生育モデル、第3生育モデル)を受信すると、制御装置41は、学習済みモデルを保存する。時期判断部41Fは、上述した実施形態と同様に、制御装置41が有する学習済みモデルと、打撃時に得られた音データに基づいて、打撃を行った作物2が収穫時期か否かを判断する。作業制御部41Bは、打撃を行った作物2が収穫時期であると判断された場合に収穫の制御を実行する一方、打撃を行った作物2が収穫時期でないと判断された場合は収穫を行わない制御を実行する。
 農業用ロボット1は、作物2の栽培位置Dnに向けて移動可能な走行体3と、走行体3に設けられ、且つ、当該走行体3が栽培位置Dnの周囲に到達したときに先端側を作物2に近づけることが可能なマニピュレータ4と、マニピュレータ4の先端側に設けられ且つ作物2に打撃を与える打撃機構51と、打撃機構51で作物2を打撃したときの音を集音するマイク(録音機構52)とを含む打音センサ50Cと、マイク(録音機構52)で集音した音のデータを収集する収集装置63と、を備えている。
 これによれば、音のデータを用いて作物2の生育などを把握したい場合に、走行体3を作物2の栽培位置Dnに近づけるだけで、当該作物2を打撃したときの音のデータを簡単に収集することができ、作物2の生育を把握するための支援を行うことができる。特に、作物2の栽培場所(作付け場所)が施設100内である場合には、雑音が少ない中で効率よく、作物2を打音したときの音のデータを収集することができる。
 農業用ロボット1は、少なくとも収集装置63がデータを収集後、当該データを収集していない他の作物2の栽培位置Dnに向けて走行体3を移動させる制御を行う制御装置41を備えている。これによれば、制御装置41によって、複数の作物2がある場合に、効率よく音のデータを収集することができる。
 農業用ロボット1は、走行体3に設けられた光学式センサ5A、5Bを備え、制御装置41は、光学式センサ5A、5Bで得られたセンシングデータに基づいて、作物2と走行体3との距離が予め定められた基準距離になるように、作物2の栽培位置Dnに向けて走行体3を移動させる。これによれば、農業用ロボット1(走行体3)を栽培位置Dnの周囲へと走行させることができ、マニピュレータ4の先端側をより素早く正確に作物2に近づけることができる。
 農業用ロボット1は、収集装置63が収集した複数のデータに基づいて、作物2の生育状況を推定するモデルを生成するモデル生成部41Eを備えている。これによれば、収集した複数の音のデータから、作物2の生育状況を推定することができるモデルを簡単に生成することができる。
 モデル生成部41Eは、収集装置63がデータを取得する毎に、強化学習を行う。これによれば、農業用ロボット1(走行体3)によって作物2に対して作業を行う状況など、収集装置63がデータを取得する毎に強化学習を行うことができ、より精度の高いモデルを構築することができる。
 農業用ロボット1は、作物2を把持することで収穫するロボットハンド18と、モデルとデータとに基づいて、打撃を与えた作物2が収穫時期であるか否かを判断する時期判断部41Fと、を備え、ロボットハンド18は、時期判断部41Fが収穫時期と判断した場合に打撃を与えた作物2を収穫し、収穫時期と判断しなかった場合に打撃を与えた作物2を収穫しない。
 これによれば、作物2を収穫する収穫作業時に、作物2が収穫時期であるかを簡単に把握することができ、収穫時期である作物2のみを、効率よく収穫することができる。
 収集装置63は、データを記憶する記憶装置、又は、データを外部端末に送信する通信装置である。これによれば、作物2に打撃を与えたときの音のデータを記憶して収集したり、外部端末へ収集した音のデータを送信することができる。
 農業用ロボット1の支援システムは、作物2の栽培位置Dnに向けて移動可能な走行体3と、走行体3に設けられ、且つ、当該走行体3が栽培位置Dnの周囲に到達したときに先端側を作物2に近づけることが可能なマニピュレータ4と、マニピュレータ4の先端側に設けられ且つ作物2に打撃を与える打撃機構51と、打撃機構51で作物2を打撃したときの音を集音するマイク(録音機構52)とを含む打音センサ50Cとを備えた農業用ロボット1の支援システムであって、マイク(録音機構52)で集音した音のデータを収集する収集装置63を備えている。
 これによれば、音のデータを用いて作物2の生育などを把握したい場合に、走行体3を作物2の栽培位置Dnに近づけるだけで、当該作物2を打撃したときの音のデータを簡単に収集することができ、作物2の生育を把握するための支援を行うことができる。特に、作物2の栽培場所(作付け場所)が施設100内である場合には、雑音が少ない中で効率よく、作物2を打音したときの音のデータを収集することができる。
 農業用ロボット1の支援システムは、少なくとも収集装置63がデータを収集後、当該データを収集していない他の作物2の栽培位置Dnに向けて走行体3を移動させる制御を行う制御装置41を備えている。これによれば、制御装置41によって、複数の作物2がある場合に、効率よく音のデータを収集することができる。
 農業用ロボット1の支援システムは、走行体3に設けられた光学式センサ5A、5Bを備え、制御装置41は、光学式センサ5A、5Bで得られたセンシングデータに基づいて、作物2と走行体3との距離が予め定められた基準距離になるように、作物2の栽培位置Dnに向けて走行体3を移動させる。これによれば、農業用ロボット1(走行体3)を栽培位置Dnの周囲へと走行させることができ、マニピュレータ4の先端側をより素早く正確に作物2に近づけることができる。
 農業用ロボット1の支援システムは、収集装置63が収集した複数のデータに基づいて、作物2の生育状況を推定するモデルを生成するモデル生成部41Eを備えている。これによれば、収集した複数の音のデータから、作物2の生育状況を推定することができるモデルを簡単に生成することができる。
 農業用ロボット1の支援システムは、作物2を把持することで収穫可能なロボットハンド18を制御する作業制御部と、モデルとデータとに基づいて、打撃を与えた作物2が収穫時期であるか否かを判断する時期判断部41Fと、を備え、作業制御部は、ロボットハンド18に対して時期判断部41Fが収穫時期と判断した場合に打撃を与えた作物2を収穫する制御を行い、収穫時期と判断しなかった場合に打撃を与えた作物2を収穫しない制御を行う。
 これによれば、作物2を収穫する収穫作業時に、作物2が収穫時期であるかを簡単に把握することができ、収穫時期である作物2のみを、効率よく収穫することができる。
(第3実施形態)
 図面を参照しつつ、本発明の第3実施形態について説明する。第1実施形態と同じ構成要素には、同じ参照符号を付してその詳細な説明を省略する。
 図25に示すように、農業用ロボット1は、制御装置41を有している。制御装置41は、例えば、CPU(Central Processing Unit)、EEPROM(Electrically Erasable Programmable Read-Only Memory)などを備えたマイクロコンピュータ等である。
 制御装置41には、光学式センサ5A、5B、打音センサ50C、走行モータM1、回動モータM2が接続されている。また、制御装置41には、複数の制御弁42が接続されている。制御弁42は、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D、第5制御弁42Eを含んでいる。
 第1制御弁42Aは、操向シリンダC1を制御する弁、第2制御弁42Bは、第1昇降シリンダC2を制御する弁、第3制御弁42Cは、第2昇降シリンダC3を制御する弁、第4制御弁42Dは、第1アームシリンダC4を制御する弁、第5制御弁42Eは、第2アームシリンダC5を制御する弁である。
 第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、例えば、制御装置41からの制御信号に基づいて作動する電磁弁である。より詳しくは、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、制御信号によって複数の位置に切り換わる電磁弁(3位置切換電磁弁)である。
 制御装置41が第1制御弁42Aに制御信号を出力すると、制御信号に応じて第1制御弁42Aが所定位置に切り換わる。制御装置41が第2制御弁42Bに制御信号を出力すると、制御信号に応じて第2制御弁42Bが所定位置に切り換わる。
 また、制御装置41が第3制御弁42Cに制御信号を出力すると、制御信号に応じて第3制御弁42Cが所定位置に切り換わる。制御装置41が第4制御弁42Dに制御信号を出力すると、制御信号に応じて第4制御弁42Dが所定位置に切り換わる。制御装置41が第5制御弁42Eに制御信号を出力すると、制御信号に応じて第5制御弁42Eが所定位置に切り換わる。
 第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eには、油路46が接続され、当該油路46には、作動油を吐出する油圧ポンプP1が接続されている。
 以上によれば、第1制御弁42Aの切り換わりによって、操向シリンダC1のボトム側又はロッド側への作動油の供給が切り換わり、操向シリンダC1が伸縮する。第2制御弁42Bの切り換わりによって、第1昇降シリンダC2のボトム側又はロッド側への作動油の供給が切り換わり、第1昇降シリンダC2が伸縮する。第3制御弁42Cの切り換わりによって、第2昇降シリンダC3のボトム側又はロッド側への作動油の供給が切り換わり、第2昇降シリンダC3が伸縮する。
 また、第4制御弁42Dの切り換わりによって、第1アームシリンダC4のボトム側又はロッド側への作動油の供給が切り換わり、第1アームシリンダC4が伸縮する。第5制御弁42Eの切り換わりによって、第2アームシリンダC5のボトム側又はロッド側への作動油の供給が切り換わり、第2アームシリンダC5が伸縮する。
 農業用ロボット1は、走行制御部41Aを有している。走行制御部41Aは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 走行制御部41Aは、走行装置7を制御する。即ち、走行制御部41Aは、操向シリンダC1(第1制御弁42A)、走行モータM1を制御する。走行制御部41Aは、第1制御弁42Aに制御信号を出力して、操向シリンダC1を伸縮させることによって、走行装置7(機体6)の操舵方向の変更を行う。走行制御部41Aは、走行モータM1に制御信号を出力して、走行モータM1の回転数又は回転方向を変更することにより、走行装置7(機体6)の速度の変更、走行装置7(機体6)の進行方向の変更を行う。
 また、走行制御部41Aは、機体6の昇降、傾き等の制御を行ってもよい。例えば、走行制御部41Aは、第2制御弁42Bに制御信号を出力して、第1昇降シリンダC2を伸縮することによって、機体6の昇降、傾きの変更を行う。また、走行制御部41Aは、第3制御弁42Cに制御信号を出力して、第2昇降シリンダC3を伸縮することによって、機体6の昇降、傾きの変更を行う。
 以上のように、走行制御部41Aの制御によって、農業用ロボット1は、施設100など自立走行することができる。
 農業用ロボット1は、作業制御部41Bを有している。作業制御部41Bは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 作業制御部41Bは、マニピュレータ(作業部)4を制御する。即ち、作業制御部41Bは、第1アームシリンダC4、第2アームシリンダC5、回動モータM2を制御する。作業制御部41Bは、第4制御弁42Dに制御信号を出力して、第1アームシリンダC4を伸縮させることによって、第1アーム部31の揺動を行う。作業制御部41Bは、第5制御弁42Eに制御信号を出力して、第2アームシリンダC5を伸縮させることによって、第2アーム部32の揺動を行う。また、作業制御部41Bは、回動モータM2に制御信号を出力することによって、回動モータM2の回転方向を変更することにより、マニピュレータ(作業部)4の回動を行う。
 以上のように、作業制御部41Bは、ロボットハンド18を任意(所望)の位置に移動させることができる。詳しくは、回動フレーム21の回動による回動軸心J1を中心とする円周方向のロボットハンド18の移動、第1アーム部31の上下揺動によるロボットハンド18の昇降、第2アーム部32の揺動によるロボットハンド18の走行体3に対する遠近方向の移動によって、ロボットハンド18を目的の位置に移動させることができる。
 作業制御部41Bは、アクチュエータ51B(打撃部材51A)を制御する。例えば、アクチュエータ51Bに制御信号を出力することで、アクチュエータ51Bを作動させ、打撃部材51Aによって作物2に対して打撃を与える制御(打撃制御)を行う。
 農業用ロボット1は、作物探索部41Gを備えている。作物探索部41Gは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 作物探索部41Gは、第1光学式センサ5Aで得られた第1センシングデータと、第2光学式センサ5Bで得られた第2センシングデータとに基づいて、作物2を探索する。光学式センサ5Aが撮像装置である場合、第1センシングデータは、撮像した撮像画像(画像データ)である。光学式センサ5Aがレーザセンサ(ライダー)である場合、第1センシングデータは、光学式センサ5Aからセンシングした対象物(物体)までの距離、方向を含むスキャンデータである。
 光学式センサ5Bが撮像装置である場合、第2センシングデータは、撮像した撮像画像(画像データ)である。光学式センサ5Bがレーザセンサ(ライダー)である場合、第2センシングデータは、光学式センサ5Bからセンシングした対象物(物体)までの距離、方向を含むスキャンデータである。
 さて、図23に示すように、農業用ロボット1によって作業を行う場合、施設100内において、農業用ロボット1を栽培場所105の間の通路106を走行させる。例えば、作業時において、農業用ロボット1を作業開始点P11から作業終了点P12まで栽培場所105(通路106)に沿って農業用ロボット1を走行させる。
 農業用ロボット1を走行させる際、作物探索部41Gは、第1センシングデータ(撮像画像、スキャンデータ)H10と、第2センシングデータ(撮像画像、スキャンデータ)K10と、に基づいて、作物2を探索する。
 以下、作物探索部41Gについて詳しく説明する。
 作物探索部41Gは、図25に示すように、位置推定部81と、位置特定部82とを有している。位置推定部81は、第1センシングデータH11に基づいて作物2を栽培する施設100内における作物2の栽培位置Dnを推定する。位置特定部82は、位置推定部81で推定した栽培位置Dnの周辺に農業用ロボット1(走行体3)を位置させたときの第2センシングデータH12に基づいて作物の位置である作物位置Znを特定する。
 図26に示すように、栽培場所105で栽培している作物2に対して作業を行うために、農業用ロボット1を進行方向に向けて自立走行をさせると、位置推定部81は、第1センシングデータH11を参照する。図27に示すように、位置推定部81は、参照した第1センシングデータH11に作物2のプロファイリングが含まれているか否かを判断する。具体的には、第1センシングデータH11が撮像画像である場合、撮像画像の特徴量のマッチング、パターンマッチング等により、撮像画像内に作物2が含まれているか否かを判断する。例えば、位置推定部81は、撮像画像から得られた特徴量と予め用意された作物の画像における特徴量とを比較し、両者の特徴量が一致すれば、撮像画像内に作物2があると判断し、両者の特徴量が一致しない場合は、撮像画像内に作物2があると判断しない。
 或いは、位置推定部81は、予め用意された作物2の表面の模様、輪郭、凸凹などを示す基準プロファイリングと、撮像画像から得られた画像プロファイリングとを比較し、基準プロファイリングと画像プロファイリングとが一致した場合は、撮像画像内に作物2等が含まれている判断し、基準プロファイリングとデータプロファイリングとが一致しなかった場合は、撮像画像内に作物2が含まれていないと判断する。
 なお、第1センシングデータH11がスキャンデータである場合、位置推定部81は、スキャンデータで描写した描写体が、作物2であるか否かを判断する。この場合、位置推定部81は、描写体のデータプロファイリングと、基準プロファイリングとを比較し、基準プロファイリングとデータプロファイリングとが一致した場合は、スキャンデータ内に作物2が含まれていると判断し、基準プロファイリングとデータプロファイリングとが一致しなかった場合は、スキャンデータ内に作物2が含まれていないと判断する。
 図26に示すように、位置推定部81は、第1センシングデータH11に作物2が含まれていると判断した場合、作物2と農業用ロボット1(走行体3)との相対距離L10を演算する。図27に示すように、例えば、第1センシングデータH11が撮像画像H1である場合、位置推定部81は、撮像画像H1に含まれる被写体である作物2の画像(縦ピクセル、横ピクセル)H2の大きさと、基準フレーム(縦ピクセル、横ピクセル)F10の大きさとを比較する。作物2の画像H2が、基準フレームF10のよりも小さい場合、位置推定部81は、相対距離L10は、基準フレームF10に対応して定められた基準距離L11よりも長いと判断する。即ち、位置推定部81は、作物2は、農業用ロボット1(走行体3)から基準距離L11までの位置よりも遠い所にあると推定する。一方、作物2の画像H2の大きさが、基準フレームF10よりも大きい場合、位置推定部81は、相対距離L10は、基準距離L11よりも短いと判断する。即ち、位置推定部81は、作物2は、農業用ロボット1(走行体3)から基準距離L11までの位置よりも近い所にあると推定する。
 つまり、位置推定部81は、作物2の画像H2の大きさと基準フレームF10との大きさを比較し、作物2の画像H2の大きさと基準フレームF10との大きさとの比率と基準距離L11に基づいて、現在の農業用ロボット1と作物2との相対距離L10を求める。図28に示すように、位置推定部81は、アームブラケット26を中立位置MP1から第1アーム枢軸33A周りに回転させている場合、光学式センサ5Aの光軸A20も中立位置MP1に対して、所定の角度θ1だけ回動していることになる。ここで、撮像画像H1において、光軸A20に対応するY軸方向のラインL20とした場合、位置推定部81は、作物2の画像H2の中心をラインL20に一致させたときの中立位置MP1に対する光学式センサ5Aの所定の角度θ1を演算し、演算した所定の角度θ1の方向であってラインL20上で且つ光学式センサ5Aの中心位置O2(回動軸心J1)から相対距離L10だけ離れた位置を、栽培位置Dnと推定する。
 走行制御部41Aは、位置推定部81が推定した相対距離L10(栽培位置Dn)が現在の農業用ロボット1(走行体3)の位置から遠く、マニピュレータ(作業部)4の先端側(ロボットハンド18)が作物2に届かないと判断した場合には、農業用ロボット1(走行体3)を制御し、栽培位置Dnに近づくように、当該農業用ロボット1(走行体3)を栽培位置Dnへ向けて移動させる。走行制御部41Aは、マニピュレータ(作業部)4の先端側(ロボットハンド18)が作物2に届く位置、即ち、栽培位置Dnの周囲に近づくと、農業用ロボット1(走行体3)を停止させる。
 農業用ロボット1(走行体3)が栽培位置Dnの周囲に移動し、当該農業用ロボット1(走行体3)を停止させた場合、図29、図30に示すように、位置特定部82は、第2センシングデータH12を参照し、参照した第2センシングデータH12から、作物2の位置(作物位置)Znを特定する。位置特定部82は、第2センシングデータH12に基づいて、第2光学式センサ5Bと、作物2との第1距離(相対距離L15)を演算し、演算した第1距離(相対距離L15)に基づいて作物位置Znを特定する。
 図30に示すように、例えば、第2センシングデータH12が撮像画像H1である場合、位置特定部82は、撮像画像H1に含まれる作物2の画像H2の中心(X軸方向の中心)が撮像画像H1の中心に位置するように、即ち、第2光学式センサ5Bの光軸に対応するY軸方向のラインL21が作物2の画像H2の中心(X軸方向の中心)と一致するように、走行体3に対するアーム部(第1アーム部31及び第2アーム部32)の角度θ2を調整する。
 位置特定部82は、作物2の画像H2の中心(X軸方向の中心)が撮像画像H1の中心に位置している状態で、作物2の画像H2の大きさと、基準フレームF11の大きさとを比較する。作物2の画像H2が、基準フレームF11のよりも小さい場合、位置特定部82は、相対距離L15は、基準フレームF11に対応して定められた基準距離L11よりも長いと判断する。即ち、位置特定部82は、作物2は、農業用ロボット1(走行体3)から基準距離L11までの位置よりも遠い所にあると推定する。一方、作物2の画像H2の大きさが、基準フレームF11よりも大きい場合、位置特定部82は、相対距離L15は、基準距離L11よりも短いと判断する。即ち、位置特定部82は、作物2は、農業用ロボット1(走行体3)から基準距離L11までの位置よりも近い所にあると推定する。
 位置特定部82は、作物2の画像H2の大きさと基準フレームF11との大きさを比較し、作物2の画像H2の大きさと基準フレームF11との大きさとの比率と基準距離L11に基づいて、第2光学式センサ5Bと、作物2との相対距離L15を求める。
 位置特定部82は、回動軸心J1と第2光学式センサ5Bとの可動距離L16と、相対距離L15とを合計することにより、農業用ロボット1(走行体3)から作物2までの相対距離L10を演算する。また、位置特定部82は、相対距離L10(相対距離L15+可動距離L16)と走行体3に対するアーム部の角度θ2により、回動軸心J1を原点としたときの作物2の位置(作物位置)Zn(X座標:Zxn、Yxn、n=1,2,3・・・)を演算する。
 なお、可動距離L16は、回動フレーム21に対する第1アーム部31の角度θ3、第1アーム部31と第2アーム部32との角度θ4、第1アーム部31の長さ、第2アーム部32の長さ(第2アーム部32のストローク)により演算することが可能である。例えば、角度θ3は、第1アーム枢軸33Aの回動を検出するセンサ又は第1アームシリンダC4のストロークを検出するセンサにより求めることができる。角度θ4は、第2アーム枢軸33Bの回動を検出するセンサ又は第2アームシリンダC5のストロークを検出するセンサにより求めることができる。
 上述した実施形態では、第1センシングデータH11及び第2センシングデータH12が撮像画像H1であることを例にあげて説明をしたが、これに代えて、第1センシングデータH11及び第2センシングデータH12はスキャナデータであってもよい。位置推定部81は、スキャナデータに基づいて相対距離L10を演算することができ、位置特定部82もスキャナデータに基づいて相対距離L15を演算することができる。
 なお、第2光学式センサ5Bは、レーザセンサ、撮像装置の他に、作物に照射した光の反射波を分光分析することで、作物2の成分等を検出することができる分光分析装置であってもよい。また、第2光学式センサ5Bは、レーザセンサ、撮像装置及び分光分析装置のうち2つ以上を含むものであってもよい。
 図31に示すように、作物2の近傍に作物2を識別する識別部材85を設置する場合がある。識別部材85は、作物2の二次元バーコード、数字、色等で示された識別情報(識別データ)を示すコード部85aと、コード部85aを支持する支柱、棒等の支持部材85bとを含んでいる。
 作物探索部41Gは、第1センシングデータH11及び第2センシングデータH12のいずれかに、識別部材85のコード部85aが含まれている場合、識別部材85と走行体3との第2距離に基づいて、栽培位置Dn及び作物位置Znの推定を行ってもよい。識別情報には、作物2の苗を植え付けた植付日、作物2の収穫予定日などの栽培に関する情報(栽培情報)が関連付けられていて、識別情報を光学式センサ(第1光学式センサ5A、第2光学式センサ5B)により検出することにより、識別情報に対応する作物2の植付日、収穫予定日などが把握すること可能である。なお、例えば、栽培情報と識別情報とは互いに関連づけられて、サーバ、携帯端末等の外部機器に記憶されている。光学式センサ(第1光学式センサ5A、第2光学式センサ5B)が識別情報を検出したときに、農業用ロボット1の通信装置等が外部機器に接続することにより、農業用ロボット1は、外部機器から栽培情報を取得することができる。上述した実施形態では、栽培情報と識別情報とが関連付けられて、外部機器に記憶されていたが、制御装置41に記憶されていてもよい。
 図31に示すように、作物2が葉などに覆われている場合、第1センシングデータH11及び第2センシングデータH12から作物2の形状(プロファイリング)を検出し難い場合がある。作物探索部41Gは、第1センシングデータH11及び第2センシングデータH12のいずれかを参照し、参照したセンシングデータに識別部材85が含まれている場合、作物2の代わりに、識別部材85の位置を、栽培位置Dn及び作物位置Znのいずれかとして推定する。
 具体的には、位置推定部81は、第1センシングデータH11に識別部材85が含まれていると判断した場合、識別部材85と農業用ロボット1(走行体3)との相対距離を演算する。位置推定部81は、作物2と農業用ロボット1(走行体3)との相対距離L10の代わりに、識別部材85と農業用ロボット1(走行体3)との相対距離を演算し、当該相対距離に基づいて、栽培位置Dnを求める。栽培位置Dnの求め方は、位置推定部81の説明において、作物2を「識別部材」に読み替え、作物2の画像を「識別部材85の画像」に読み替えればよく、作物2と同じである。
 位置特定部82は、第2センシングデータH12に識別部材85が含まれていると判断した場合、識別部材85と第2光学式センサ5Bとの相対距離を演算する。位置特定部82は、作物2と第2光学式センサ5Bとの相対距離L15の代わりに、識別部材85と第2光学式センサ5Bとの相対距離を演算し、当該相対距離に基づいて、作物位置Znを求める。作物位置Znの求め方は、位置特定部82の説明において、作物2を「識別部材」に読み替え、作物2の画像を「識別部材85の画像」に読み替えればよく、作物2と同じである。
 図25に示すように、農業用ロボット1は、マップ作成部41Hを備えていてもよい。マップ作成部41Hは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
 マップ作成部41Hは、第1センシングデータH11及び第2センシングデータH12のいずれかに、識別部材85bの識別情報が含まれている場合、図32に示すように、第1センシングデータH11、第2センシングデータH12及び識別部材85のコード部85a(識別部材85bの識別情報)に基づいて、作物位置Zn及び栽培情報を含む栽培マップF2を作成する。
 具体的には、マップ作成部41Hは、上述したように、作業開始点P11から作業終了点P12まで栽培場所105に沿って農業用ロボット1を走行させた際に、作物探索部41Gが求めた作物位置Znを参照する。
 次に、マップ作成部41Hは、図29に示すように、農業用ロボット1(走行体3)の位置、例えば、回動軸心J1の位置を車体位置Ri(i=1、2、3・・・)とし、車体位置Riに対して、参照した作物位置Zn(X座標:Zxn、Yxn、n=1,2,3・・・)を加算したり、除算することにより、施設100における作物位置Znaを求める。
 ここで、車体位置Riは、例えば、出入口130からの現在の農業用ロボット1までの縦方向Y1における距離、或いは、出入口130から現在の農業用ロボット1までの横方向X1における距離にて求めることができる。或いは、車体位置Riは、作業開始点P11を施設100における原点として、作業開始点P11から現在の農業用ロボット1までの縦方向Y1における距離、或いは、作業開始点P11から現在の農業用ロボット1までの横方向X1における距離にて求めることができる。
 なお、車体位置Riを求めるにあたって、出入口130及び作業開始点P11のいずれかを基準にする場合であっても、例えば、走行体3に進んだ距離を計測する距離計を設けることにより、現在の農業用ロボット1の位置を求めることが可能である。
 また、マップ作成部41Hは、上述したように、作業開始点P11から作業終了点P12まで栽培場所105に沿って農業用ロボット1を走行させた際に、光学式センサ(第1光学式センサ5A、第2光学式センサ5B)が検出した識別情報を外部機器又は制御装置41から取得し、取得した識別情報から栽培情報を割り出し、図32に示すように、割り出した栽培情報と作物位置Znaとを対応付けた栽培マップF2を作成する。図32に示すように、栽培マップF2を表示する際には、作物位置Znaに作物2を示す図形を示す。
 農業用ロボット1は、機体6と、機体6を走行可能に支持する走行装置7とを含む走行体3と、機体6に着脱可能に装着された装着体16、装着体16に取り付けられたアーム17及びアーム17の先端側に設けられたロボットハンド18を含むマニピュレータ4と、機体6に設けられた第1光学式センサ5Aと、アーム17及びロボットハンド18のいずれかに設けられた第2光学式センサ5Bと、第1光学式センサ5Aで得られた第1センシングデータH11と、第2光学式センサ5Bで得られた第2センシングデータH12とに基づいて、作物2を探索する作物探索部41Gと、を備えている。これによれば、第1光学式センサ5Aによって機体6からセンシングした第1センシングデータH11と、アーム17及びロボットハンド18のいずれかからからセンシングした第2センシングデータH12との両方のセンシングによって、より作物2の探索を効率よく行うことができる。例えば、第1センシングデータH11では、作物2の大雑把な位置を把握し、第2センシングデータH12では、作物2の正確な位置を把握することができる。このように分けることで、走行体3とマニピュレータ4とをそれぞれ素早く作物2の位置まで移動させることが可能となる。
 作物探索部41Gは、第1センシングデータH11に基づいて作物2を栽培する施設100内における作物の栽培位置Dnを推定する位置推定部81と、位置推定部81で推定した栽培位置Dnの周辺に走行体3を位置させたときの第2センシングデータH12に基づいて作物の位置である作物位置Znを特定する位置特定部82とを含んでいる。これによれば、施設100内において、おおよその作物の位置である栽培位置Dnを把握することができ、正確な作物2の位置である作物位置Znを把握することができる。
 農業用ロボット1は、位置推定部81で推定した栽培位置Dnの周囲に走行体3を移動させる制御装置41を備えている。これによれば、施設100内において、おおよその作物の位置である栽培位置Dnに農業用ロボット1を効率よく移動させることができる。
 位置特定部82は、走行体3を栽培位置Dnの周囲に移動させて当該走行体3を停止させたときの第2光学式センサ5Bから得られた第2センシングデータH12から作物位置Znを特定する。これによれば、作業時などに走行体3を移動後に停止させた場合、正確な作物2の位置である作物位置Znを簡単に求めることができ、走行体3を停止させた状態でマニピュレータ4の先端部側を求めた作物位置Znに位置させて、作物位置Znの作物2に関する作業を効率よく行うことができる。
 位置特定部82は、第2センシングデータH12に基づいて、第2光学式センサ5B及び走行体3のいずれかと、作物2との第1距離(相対距離)L15を演算し、演算した第1距離(相対距離)L15に基づいて作物位置Znを特定する。これによれば、実際の作物2の位置と、誤差が少ない作物位置Znを求めることができる。
 第2光学式センサ5Bは、レーザセンサ、撮像装置及び分光分析装置のいずれか2以上を含んでいる。これによれば、作物2の作物位置Znを正確に求めるだけでなく、品質などの作物2の状態を把握することができる。
 作物探索部41Gは、第1センシングデータH11及び第2センシングデータH12のいずれかに、作物を識別する識別部材85bの識別情報が含まれている場合、識別部材85と走行体3との第2距離に基づいて、栽培位置Dn及び作物位置Znの推定を行う。これによれば、作物2を直接、センシングしなくても、識別部材85の有無をセンシングするだけで、簡単に作物2の位置(栽培位置Dn、作物位置Zn)を求めることができる。
 農業用ロボット1は、第1センシングデータH11及び第2センシングデータH12のいずれかに、作物を識別する識別部材85bの識別情報が含まれている場合、第1センシングデータH11、第2センシングデータH12及び識別データに基づいて、作物位置Zn及び栽培情報を含む栽培マップF2を作成するマップ作成部41Hを備えている。これによれば、栽培マップF2によって、作物位置Znと栽培情報とを簡単に確認することができる。例えば、農業用ロボット1で作業を行う場合に、作物位置Znにて栽培情報に応じた作業を行うことができる。
 以上、本発明の一実施形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1    :農業用ロボット
2    :作物
2a   :作物
2b   :作物
2c   :作物
3    :走行体
4    :作業部(マニピュレータ)
5A   :光学式センサ
5B   :光学式センサ
6    :機体
7    :走行装置
16   :装着体
17   :アーム
18   :ロボットハンド
23   :収集装置
41   :制御装置
41A  :走行制御部
41B  :作業制御部
41C  :場所管理部
41D  :マップ生成部
41E  :モデル生成部
41F  :時期判断部
41G  :作物探索部
41H  :マップ作成部
43   :収集装置
50C  :打音センサ
51   :打撃機構
63   :収集装置
81   :位置推定部
82   :位置特定部
85   :識別部材
85b  :識別部材
100  :施設
105  :栽培場所
F1   :マップ
R1   :第1プロファイリング
R2   :第2プロファイリング
Dn   :栽培位置
L11  :基準距離
F2   :栽培マップ
H11  :第1センシングデータ
H12  :第2センシングデータ
Zn   :作物位置

Claims (38)

  1.  走行体と、
     前記走行体に設けられ、作物に関する作業を行う作業部と、
     前記走行体に設けられた光学式センサと、
     前記光学式センサで得られたセンシングデータに基づいて、前記作物を栽培する施設内に前記走行体が位置するか否かを判断する場所管理部と、
     を備え、
     前記作業部は、前記場所管理部によって前記走行体が前記施設内に位置すると判断した場合に、前記作業部に基づいて作物に関する作業を行う農業用ロボット。
  2.  前記場所管理部は、前記センシングデータに前記施設を構成する構造物が含まれ且つ前記構造物が施設内から見た第1プロファイリングである場合に、前記走行体が施設内であると判断する請求項1に記載の農業用ロボット。
  3.  前記場所管理部は、前記センシングデータに、前記第1プロファイリングに加えて前記作物の栽培場所の第2プロファイリングが含まれる場合に、前記走行体が施設内であると判断する請求項2に記載の農業用ロボット。
  4.  前記第1プロファイリングと前記第2プロファイリングとに基づいて、前記走行体の走行を制御する走行制御部を備えている請求項3に記載の農業用ロボット。
  5.  前記第1プロファイリングと、前記第2プロファイリングに含まれる作物に基づいて、前記施設内のマップを生成するマップ生成部を備えている請求項3又は4に記載の農業用ロボット。
  6.  前記場所管理部は、学習済みのモデルと、前記センシングデータとに基づいて、前記第1プロファイリングであるかを判断する請求項2~5のいずれか一項に記載の農業用ロボット。
  7.  前記場所管理部は、前記走行体が前記施設内を走行したときの前記センシングデータを取得することで、強化学習を行う請求項6に記載の農業用ロボット。
  8.  前記場所管理部は、前記構造物として施設を構成するフレームのセンシングデータに基づいて走行体が施設内に位置しているか否かを判断する請求項1~7のいずれか一項に記載の農業用ロボット。
  9.  走行体と、前記走行体に設けられ作物に関する作業を行う作業部と、前記走行体に設けられた光学式センサとを備え、前記走行体が前記施設内に位置する場合に前記作業部に基づいて作物に関する作業を行う農業用ロボットの支援システムであって、
     前記光学式センサで得られたセンシングデータに基づいて、前記作物を栽培する施設内に前記走行体が位置するか否かを判断する場所管理部を備えている農業用ロボットの支援システム。
  10.  前記場所管理部は、前記センシングデータに前記施設を構成する構造物が含まれ且つ前記構造物が施設内から見た第1プロファイリングである場合に、前記走行体が施設内であると判断する請求項9に記載の農業用ロボットの支援システム。
  11.  前記場所管理部は、前記センシングデータに、前記第1プロファイリングに加えて前記作物の栽培場所の第2プロファイリングが含まれる場合に、前記走行体が施設内であると判断する請求項10に記載の農業用ロボットの支援システム。
  12.  前記第1プロファイリングと前記第2プロファイリングとに基づいて、前記走行体の走行を制御する走行制御部を備えている請求項11に記載の農業用ロボットの支援システム。
  13.  前記第1プロファイリングと、前記第2プロファイリングに含まれる作物に基づいて、前記施設内のマップを生成するマップ生成部を備えている請求項11又は12に記載の農業用ロボットの支援システム。
  14.  前記場所管理部は、学習済みのモデルと、前記センシングデータとに基づいて、前記第1プロファイリングであるかを判断する請求項10~13のいずれか一項に記載の農業用ロボットの支援システム。
  15.  前記場所管理部は、前記走行体が前記施設内を走行したときの前記センシングデータを取得することで、強化学習を行う請求項14に記載の農業用ロボットの支援システム。
  16.  前記場所管理部は、前記構造物として施設を構成するフレームのセンシングデータに基づいて走行体が施設内に位置しているか否かを判断する請求項9~15のいずれか一項に記載の農業用ロボットの支援システム。
  17.  作物の栽培位置に向けて移動可能な走行体と、
     前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけることが可能なマニピュレータと、
     前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で作物を打撃したときの音を集音する録音機構とを含む打音センサと、
     前記録音機構で集音した音のデータを収集する収集装置と、
     を備えている農業用ロボット。
  18.  少なくとも前記収集装置が前記データを収集後、当該データを収集していない他の作物の栽培位置に向けて前記走行体を移動させる制御を行う制御装置を備えている請求項17に記載の農業用ロボット。
  19.  前記走行体に設けられた光学式センサを備え、
     前記制御装置は、前記光学式センサで得られたセンシングデータに基づいて、前記作物と走行体との距離が予め定められた基準距離になるように、作物の栽培位置に向けて前記走行体を移動させる請求項18に記載の農業用ロボット。
  20.  前記収集装置が収集した複数のデータに基づいて、作物の生育状況を推定するモデルを生成するモデル生成部を備えている請求項17~19のいずれか一項に記載の農業用ロボット。
  21.  前記モデル生成部は、前記収集装置がデータを取得する毎に、強化学習を行う請求項20に記載の農業用ロボット。
  22.  前記作物を把持することで収穫するロボットハンドと、
     前記モデルと前記データとに基づいて、前記打撃を与えた作物が収穫時期であるか否かを判断する時期判断部と、
     を備え、
     前記ロボットハンドは、前記時期判断部が収穫時期と判断した場合に前記打撃を与えた作物を収穫し、前記収穫時期と判断しなかった場合に前記打撃を与えた作物を収穫しない請求項20又は21に記載の農業用ロボット。
  23.  前記収集装置は、前記データを記憶する記憶装置、又は、前記データを外部端末に送信する通信装置である請求項17~22のいずれか一項に記載の農業用ロボット。
  24.  作物の栽培位置に向けて移動可能な走行体と、前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけることが可能なマニピュレータと、前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で作物を打撃したときの音を集音する録音機構とを含む打音センサとを備えた農業用ロボットの支援システムであって、
     前記録音機構で集音した音のデータを収集する収集装置を備えている農業用ロボットの支援システム。
  25.  少なくとも前記収集装置が前記データを収集後、当該データを収集していない他の作物の栽培位置に向けて前記走行体を移動させる制御を行う制御装置を備えている請求項24に記載の農業用ロボットの支援システム。
  26.  前記走行体に設けられた光学式センサを備え、
     前記制御装置は、前記光学式センサで得られたセンシングデータに基づいて、前記作物と走行体との距離が予め定められた基準距離になるように、作物の栽培位置に向けて前記走行体を移動させる請求項25に記載の農業用ロボットの支援システム。
  27.  前記収集装置が収集した複数のデータに基づいて、作物の生育状況を推定するモデルを生成するモデル生成部を備えている請求項24~26のいずれか一項に記載の農業用ロボットの支援システム。
  28.  前記モデル生成部は、前記収集装置がデータを取得する毎に、強化学習を行う請求項27に記載の農業用ロボットの支援システム。
  29.  前記作物を把持することで収穫可能なロボットハンドを制御する作業制御部と、
     前記モデルと前記データとに基づいて、前記打撃を与えた作物が収穫時期であるか否かを判断する時期判断部と、
     を備え、
     前記作業制御部は、前記ロボットハンドに対して前記時期判断部が収穫時期と判断した場合に前記打撃を与えた作物を収穫する制御を行い、前記収穫時期と判断しなかった場合に前記打撃を与えた作物を収穫しない制御を行う請求項27又は28に記載の農業用ロボットの支援システム。
  30.  前記収集装置は、前記データを記憶する記憶装置、又は、前記データを外部端末に送信する通信装置である請求項24~29のいずれか一項に記載の農業用ロボットの支援システム。
  31.  機体と、機体を走行可能に支持する走行装置とを含む走行体と、
     前記機体に着脱可能に装着された装着体、前記装着体に取り付けられたアーム及び前記アームの先端側に設けられたロボットハンドを含むマニピュレータと、
     前記機体に設けられた第1光学式センサと、
     前記アーム及びロボットハンドのいずれかに設けられた第2光学式センサと、
     前記第1光学式センサで得られた第1センシングデータと、前記第2光学式センサで得られた第2センシングデータとに基づいて、作物を探索する作物探索部と、
     を備えている農業用ロボット。
  32.  前記作物探索部は、前記第1センシングデータに基づいて作物を栽培する施設内における前記作物の栽培位置を推定する位置推定部と、前記位置推定部で推定した前記栽培位置の周辺に前記走行体を位置させたときの前記第2センシングデータに基づいて作物の位置である作物位置を特定する位置特定部とを含んでいる請求項31に記載の農業用ロボット。
  33.  前記位置推定部で推定した前記栽培位置の周囲に前記走行体を移動させる制御装置を備えている請求項32に記載の農業用ロボット。
  34.  前記位置特定部は、前記走行体を前記栽培位置の周囲に移動させて当該走行体を停止させたときの前記第2光学式センサから得られた第2センシングデータから前記作物位置を特定する請求項33に記載の農業用ロボット。
  35.  前記位置特定部は、前記第2センシングデータに基づいて、前記第2光学式センサ及び走行体のいずれかと、前記作物との第1距離を演算し、前記演算した第1距離に基づいて前記作物位置を特定する請求項34に記載の農業用ロボット。
  36.  前記第2光学式センサは、レーザセンサ、撮像装置及び分光分析装置のうち2つ以上を含んでいる請求項31~35のいずれか一項に記載の農業用ロボット。
  37.  前記作物探索部は、前記第1センシングデータ及び前記第2センシングデータのいずれかに、作物を識別する識別部材に識別情報が含まれている場合、前記識別部材と前記走行体との第2距離に基づいて、前記栽培位置及び前記作物位置の推定を行う請求項31~36のいずれか一項に記載の農業用ロボット。
  38.  前記第1センシングデータ及び前記第2センシングデータのいずれかに、作物を識別する識別部材の識別情報が含まれている場合、前記第1センシングデータ、前記第2センシングデータ及び前記識別情報に基づいて、作物位置及び栽培情報を含む栽培マップを作成するマップ作成部を備えている請求項31~36のいずれか一項に記載の農業用ロボット。
PCT/JP2021/021864 2020-06-24 2021-06-09 農業用ロボット及び農業用ロボットの支援システム WO2021261246A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP21829678.8A EP4173464A1 (en) 2020-06-24 2021-06-09 Agricultural robot and assistance system for agricultural robot

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2020109079A JP2022006698A (ja) 2020-06-24 2020-06-24 農業用ロボット
JP2020-109078 2020-06-24
JP2020109078A JP2022006697A (ja) 2020-06-24 2020-06-24 農業用ロボット及び農業用ロボットの支援システム
JP2020-109079 2020-06-24
JP2020109077A JP7404169B2 (ja) 2020-06-24 2020-06-24 農業用ロボット及び農業用ロボットの支援システム
JP2020-109077 2020-06-24

Publications (1)

Publication Number Publication Date
WO2021261246A1 true WO2021261246A1 (ja) 2021-12-30

Family

ID=79282570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021864 WO2021261246A1 (ja) 2020-06-24 2021-06-09 農業用ロボット及び農業用ロボットの支援システム

Country Status (2)

Country Link
EP (1) EP4173464A1 (ja)
WO (1) WO2021261246A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115226698A (zh) * 2022-09-13 2022-10-25 广东省农业科学院植物保护研究所 一种农作物种植用的智能施药机械手及控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7321910B2 (ja) * 2019-12-02 2023-08-07 株式会社クボタ 農業用ロボット

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274022A (ja) * 1996-04-08 1997-10-21 Shizuoka Seiki Co Ltd 携帯用果実及び果菜類熟度判定装置
JP2004283133A (ja) * 2003-03-25 2004-10-14 Sakae Shibusawa 移動式農産物収穫装置
JP2011229406A (ja) 2010-04-23 2011-11-17 Ihi Corp 自動収穫装置
JP2014191624A (ja) * 2013-03-27 2014-10-06 Kobe Univ 植物体の画像生成装置
JP2017049694A (ja) * 2015-08-31 2017-03-09 シャープ株式会社 自律走行装置
JP2019082764A (ja) * 2017-10-27 2019-05-30 株式会社日本総合研究所 情報処理システム及びプログラム
WO2019187816A1 (ja) * 2018-03-30 2019-10-03 日本電産シンポ株式会社 移動体および移動体システム
JP2019175343A (ja) * 2018-03-29 2019-10-10 西日本電信電話株式会社 情報収集装置、情報収集方法及びコンピュータープログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274022A (ja) * 1996-04-08 1997-10-21 Shizuoka Seiki Co Ltd 携帯用果実及び果菜類熟度判定装置
JP2004283133A (ja) * 2003-03-25 2004-10-14 Sakae Shibusawa 移動式農産物収穫装置
JP2011229406A (ja) 2010-04-23 2011-11-17 Ihi Corp 自動収穫装置
JP2014191624A (ja) * 2013-03-27 2014-10-06 Kobe Univ 植物体の画像生成装置
JP2017049694A (ja) * 2015-08-31 2017-03-09 シャープ株式会社 自律走行装置
JP2019082764A (ja) * 2017-10-27 2019-05-30 株式会社日本総合研究所 情報処理システム及びプログラム
JP2019175343A (ja) * 2018-03-29 2019-10-10 西日本電信電話株式会社 情報収集装置、情報収集方法及びコンピュータープログラム
WO2019187816A1 (ja) * 2018-03-30 2019-10-03 日本電産シンポ株式会社 移動体および移動体システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115226698A (zh) * 2022-09-13 2022-10-25 广东省农业科学院植物保护研究所 一种农作物种植用的智能施药机械手及控制方法
CN115226698B (zh) * 2022-09-13 2023-08-22 广东省农业科学院植物保护研究所 一种农作物种植用的智能施药机械手及控制方法

Also Published As

Publication number Publication date
EP4173464A1 (en) 2023-05-03

Similar Documents

Publication Publication Date Title
US11596139B2 (en) Method for autonomously weeding crops in an agricultural field
WO2021261246A1 (ja) 農業用ロボット及び農業用ロボットの支援システム
US10845810B2 (en) Method for autonomous detection of crop location based on tool depth and location
Baeten et al. Autonomous fruit picking machine: A robotic apple harvester
CN103309310B (zh) 一种基于激光扫描的穴盘苗移栽机器人作业监控方法
WO2023050783A1 (zh) 除草机器人及其除草路径的规划方法、装置和介质
Silwal et al. Bumblebee: A path towards fully autonomous robotic vine pruning
Vikram Agricultural Robot–A pesticide spraying device
You et al. An autonomous robot for pruning modern, planar fruit trees
CN113273376A (zh) 一种模块化除草装置
US20220240494A1 (en) Aerial sensor and manipulation platform for farming and method of using same
JP2022538873A (ja) 自動化植物モニタリングシステムおよび方法
JP2022006697A (ja) 農業用ロボット及び農業用ロボットの支援システム
WO2021261294A1 (ja) 農業用ロボット
JP2022006698A (ja) 農業用ロボット
JP2022006696A (ja) 農業用ロボット及び農業用ロボットの支援システム
JP7471931B2 (ja) 農業用ロボット
JP7408496B2 (ja) 農業用ロボット
Kounalakis et al. A framework leveraging robotics and machine learning technologies for early disease and pest detection in greenhouse tomato crops
US11991940B2 (en) Method for autonomous detection of crop location based on tool depth and location
US20230255126A1 (en) Weed Picking Module and Method
KR102642313B1 (ko) 수확 로봇 학습용 영상 취득 장치
US20240033940A1 (en) Aerial sensor and manipulation platform for farming and method of using same
CN116076479A (zh) 一种基于机器视觉的电击除草装置
CN117502413A (zh) 一种基于机械臂的激光除草机器人

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21829678

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021829678

Country of ref document: EP

Effective date: 20230124