WO2019176843A1 - 作業車両および作物列認識プログラム - Google Patents

作業車両および作物列認識プログラム Download PDF

Info

Publication number
WO2019176843A1
WO2019176843A1 PCT/JP2019/009639 JP2019009639W WO2019176843A1 WO 2019176843 A1 WO2019176843 A1 WO 2019176843A1 JP 2019009639 W JP2019009639 W JP 2019009639W WO 2019176843 A1 WO2019176843 A1 WO 2019176843A1
Authority
WO
WIPO (PCT)
Prior art keywords
crop
row
work vehicle
crop row
unit
Prior art date
Application number
PCT/JP2019/009639
Other languages
English (en)
French (fr)
Inventor
暁大 鈴木
中畠　章博
利之 横上
Original Assignee
ヤンマー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤンマー株式会社 filed Critical ヤンマー株式会社
Priority to EP19768232.1A priority Critical patent/EP3766322B1/en
Publication of WO2019176843A1 publication Critical patent/WO2019176843A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications

Definitions

  • Patent Document 3 discloses recognizing a crop line in an image obtained by a camera.
  • a work vehicle is a work vehicle that travels in a field in which crop rows are planted, and irradiates laser light toward a plurality of objects existing in the field and receives reflected light from the object.
  • a distance sensor that acquires distance information of each object, and a bird's-eye image that detects the position of each object based on the distance information and generates a bird's-eye image that includes the detected position of each object as a detection point
  • a column candidate for generating one or a plurality of column candidate regions extending in the crop column direction by combining the generation unit and two or more detection points located within a predetermined distance among the detection points included in the bird's-eye view image
  • An area generation unit and a crop line recognition unit that creates a plurality of virtual points arranged in the crop line direction in each of the line candidate areas and recognizes a straight line corresponding to the crop line from the plurality of virtual points.
  • the crop row recognition unit estimates, for each row candidate region, a straight line corresponding to the row candidate region from the plurality of virtual points created for the row candidate region.
  • the predetermined coupling condition is, for example, that an interval between two straight lines is equal to or smaller than a predetermined interval, and a difference in inclination between the two straight lines is within a predetermined range.
  • the working vehicle 1 is a working vehicle for spraying chemicals in this embodiment.
  • the work vehicle 1 includes a traveling device 2, a body frame 3 supported on the traveling device 2, and a chemical solution spraying device 4 provided on the body frame 3.
  • the traveling device 2 is a crawler type and includes left and right traveling devices 2L and 2R.
  • the traveling device 2 may be a wheel type.
  • a schematic diagram of a vehicle having a wheel-type traveling device may be used as a schematic diagram of the work vehicle 1.
  • An engine 5 as a drive source is disposed at the rear of the machine frame 3.
  • a support frame 6 is provided at the front portion of the body frame 3.
  • the support frame 6 includes a pair of left and right masts 6A and 6B supported by the body frame 3, a first connecting member 6C for connecting the upper ends of these masts 6A and 6B, and an intermediate length between these masts 6A and 6B. And a second connecting member 6D for connecting the parts together.
  • the distance sensor 13 a sensor that measures the distance to an object using laser light is used.
  • the distance sensor 13 is, for example, a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) that measures the distance from the time it takes to irradiate the laser beam in a pulsed manner and reflect it back to the object. ) Is used.
  • the distance sensor 13 is a scan LIDAR that can detect the direction of an object by scanning the laser beam while changing the direction with a movable mirror.
  • FIG. 4 is a block diagram showing the main electrical configuration of the work vehicle 1.
  • the work vehicle 1 includes a control device 30 for controlling the operation of the work vehicle 1.
  • the control device 30 is connected to a distance sensor 13, an orientation sensor 14, an engine controller 21, a travel controller 22, a clutch operating device 23, a storage unit 24, and the like.
  • the distance sensor 13 detects distance information to each of a plurality of objects existing in the field H as described above.
  • the main object of the plurality of objects is the crop S.
  • the direction sensor 14 is for detecting the direction of the work vehicle 1 as described above.
  • the engine controller 21 controls the rotational speed of the engine 5 and the like. Specifically, the engine controller 21 controls the rotation speed of the engine 5 by controlling a common rail device 16 as a fuel injection device provided in the engine 5. The engine controller 21 can stop the supply of fuel to the engine 5 and stop the driving of the engine 5 by controlling the common rail device 16.
  • the traveling controller 22 controls the crawler control mechanism 15 to control forward, reverse, turn and stop of the work vehicle 1.
  • the clutch actuating device 23 is a device for fastening and releasing the clutch mechanism 9B in the pump unit 9.
  • the storage unit 24 includes a storage device such as a hard disk or a nonvolatile memory.
  • the laser beam emission direction (emission angle) ⁇ is an angle formed by the + X axis and the laser beam, and is represented by a counterclockwise angle with the origin O as the center.
  • a combination (r, ⁇ ) of the distance r and the emission angle ⁇ is acquired as distance information for the object. Is done.
  • the X coordinate value x and the Y coordinate value y of the sensor coordinate system of the object whose distance information is (r, ⁇ ) is expressed by the following equation (1).
  • FIG. 8 is a schematic diagram illustrating an example of a bird's-eye image generated by the bird's-eye image generation unit 51.
  • the blur processing unit 52A performs a blur process on the bird's-eye view image by expanding the image of the detection points and combining nearby detection points to generate a blur image including one or more block images.
  • the blurring processing unit 52A generates a blurred image including a multi-valued image by performing a blurring process on the bird's-eye view image using a Gaussian filter. Then, the blur processing unit 52A converts a blur image made of a multi-valued image into a blur image made of a binary image using a predetermined threshold in order to remove noise.
  • a blurred image composed of binary images may be referred to as a blurred image after noise removal.
  • FIG. 9 is a schematic diagram illustrating an example of a blurred image after noise removal generated by the blur processing unit 52A.
  • the crop row recognition unit 53 creates a plurality of virtual points arranged in the row of crop rows in each row candidate region, and recognizes a straight line corresponding to the crop row from the plurality of virtual points.
  • the crop row recognition unit 53 includes a straight line estimation unit 53A and a straight line coupling unit 53B.
  • the straight line estimation unit 53A arranges the first virtual points at the four corners of the column candidate region, and sets the second virtual points at predetermined intervals on a straight line passing through the center of the approximate rectangle and parallel to the long side. Deploy. Then, the straight line estimation unit 53A approximates a straight line from the first virtual point and the second virtual point, and estimates the obtained straight line as a straight line of the column candidate region.
  • the predetermined interval is set to, for example, a preset trunk interval d.
  • the second virtual point may be composed of one point corresponding to the center of gravity of the approximate rectangle.
  • the straight line combining unit 53B generates a straight line corresponding to a crop line by combining straight lines satisfying a predetermined combining condition among straight lines corresponding to each row candidate area estimated by the straight line estimating unit 53A.
  • the predetermined coupling condition is, for example, that an interval between two straight lines is equal to or smaller than a predetermined interval, and a difference in inclination between the two straight lines is within a predetermined range. Whether or not the distance between the two straight lines is equal to or smaller than a predetermined interval is determined, for example, based on whether or not the deviation amount of the X coordinate value of the center of gravity (middle point) is equal to or smaller than a predetermined value.
  • the straight line coupling unit 53B determines whether or not the straight lines corresponding to two certain column candidate areas satisfy the coupling condition. If the coupling condition is satisfied, the linear coupling unit 53B couples the two straight lines. The linear coupling unit 53B repeats such processing. Thereby, straight lines of a plurality of column candidate regions estimated to exist on the same crop column are combined. As a result, a straight line corresponding to each crop row is generated. In other words, each crop row is recognized.
  • the combination of the two straight lines ⁇ 1 and ⁇ 2 is a point where the Y coordinate value is the smallest and the Y coordinate value is the largest among the points on the straight lines ⁇ 1 and ⁇ 2. This is done by tying.
  • the two straight lines ⁇ 1 and ⁇ 2 may be combined by other methods.
  • the combination of the two straight lines ⁇ 1 and ⁇ 2 may be performed by obtaining a single straight line from four end points of both end points of the straight line ⁇ 1 and both end points of the straight line ⁇ 2.
  • the target crop row pair extraction unit 42 uses two adjacent crops used to generate the target travel route of the work vehicle 1 from the plurality of crop rows L recognized by the crop row recognition unit 53.
  • a column pair is extracted as a target crop column pair.
  • the target crop row pair extraction unit 42 first sets a crop row pair in which the distance between the centroids of adjacent crop rows L is within a predetermined range as a pair candidate. More specifically, the target crop line pair extraction unit 42 sets a crop line pair in which the difference between the X coordinate values of the centroids (midpoints) of adjacent crop lines L is within a predetermined range as a pair candidate.
  • the predetermined range is set to a range from a length shorter than the currently set column interval W by a predetermined length to a length longer than the column interval W by a predetermined length.
  • the target crop row pair extraction unit 42 selects, for example, pair candidates that are arranged such that two adjacent crop rows sandwich a straight line that passes through the center of the work vehicle 1 and extends in the front-rear direction of the work vehicle 1. Extract as a target crop column pair.
  • the rectangle recognizing unit 43 first calculates the center of gravity g and the inclination a of the target crop row pair. Specifically, the rectangle recognition unit 43 acquires the coordinates of the end points P1 and P2 of the crop row La and the coordinates of the end points P3 and P4 of the crop row Lb. Then, the rectangle recognizing unit 43 calculates the center of gravity of the rectangle having the four points as vertices as the center of gravity g of the target crop row pair.
  • the rectangle recognizing unit 43 passes through the end point (P4 in this example) having the largest X coordinate value among the end points P1 to P4, and has the first straight line K1 having the first inclination a1. Ask for.
  • the rectangle recognizing unit 43 calculates the distance between the first straight line K1 and the end point (P2 in this example) having the smallest X coordinate value among the end points P1 to P4 as the length q1 of the first side.
  • the rectangle recognizing unit 43 obtains the inclination of the straight line orthogonal to the straight line having the first inclination a1 as the second inclination a2 in the XY plane. Then, as shown in FIG. 11C, the rectangle recognizing unit 43 passes the second straight line K2 having the second inclination a2 through the end point (P3 in this example) having the largest Y coordinate value among the end points P1 to P4. Ask. The rectangle recognizing unit 43 calculates the distance between the second straight line K2 and the end point (P2 in this example) having the smallest Y coordinate value among the end points P1 to P4 as the length q2 of the second side.
  • the rectangle recognizing unit 43 has the centroid g as a centroid, has a first side with a second slope a2 and a length q1, and has a first slope a1 and a length.
  • a rectangle having the second side of q2 is recognized as a rectangle that approximates the target crop row pair.
  • a rectangle that approximates the target crop row pair is indicated by R in FIG. 11D.
  • the rectangle recognizing unit 43 may obtain a rectangle that approximates the target crop sequence pair by a method other than the method described above.
  • a method for obtaining a rectangle that approximates a target crop row pair for example, various methods described as background art in Japanese Patent Application Laid-Open No. 2010-108135 and various methods described as embodiments of the same publication are used. Can do.
  • the target setting unit 44 determines the target travel route and the target direction of the work vehicle 1 between the two crop rows constituting the selected crop row pair based on the rectangle recognized by the rectangle recognition unit 43. Set.
  • the target setting unit 44 specifies the interval between the left and right sides of the rectangle R as the column interval W of the target crop column pair, as shown in FIG. Further, a straight line passing through the centers of the left and right sides of the rectangle R is specified as the center line CL of the target crop row pair. Then, the target setting unit 44 sets, as the target travel route T, a straight line that is shifted toward one crop row (the left crop row La in the example of FIG. 12) by a predetermined offset amount ⁇ W with respect to the center line CL. In addition, the direction along the target travel route T is set as the target direction.
  • the direction shifted by the offset amount ⁇ W with respect to the center line CL differs depending on the target crop row pair.
  • the direction shifted by the offset amount ⁇ W with respect to the center line CL is the direction toward the first crop row L1 (progression). (Left direction toward the direction).
  • the direction shifted by the offset amount ⁇ W with respect to the center line CL is the direction on the second crop row L2 side ( (To the right of the direction of travel).
  • the deviation calculating unit 45 calculates the deviation amount from the target travel route T and the deviation amount from the target direction.
  • the deviation calculation unit 45 includes a position deviation calculation unit 45A and an azimuth deviation calculation unit 45B.
  • the position deviation calculation unit 45A estimates the current position of the work vehicle 1 between the two crop rows constituting the target crop row pair based on the rectangle R recognized by the rectangle recognition unit 43, and the target travel route of the current position A deviation amount (positional deviation amount) from the position is calculated.
  • the azimuth deviation calculation unit 45B calculates a deviation amount (azimuth deviation amount) of the current azimuth of the work vehicle 1 detected by the azimuth sensor 14 from the target azimuth.
  • the position deviation calculation unit 45A sets the position and orientation of the work vehicle 1 in the sensor coordinate system with the target travel route T as the Y ′ axis and orthogonal to the Y ′ axis.
  • the line passing through the center of gravity of the vehicle 1 is converted into the position and orientation of the crop row coordinate system having the X ′ axis.
  • the position and orientation of the work vehicle 1 after conversion correspond to the current position and orientation of the work vehicle 1 between the two crop rows constituting the target crop row pair.
  • the position deviation calculation unit 45A sets, as the target position Q, a position that travels in the traveling direction by a predetermined distance f along the target travel route T from the origin O ′ of the crop row coordinate system, as shown in FIG. . Then, the position deviation calculation unit 45A uses the angle ⁇ formed by the straight line connecting the target position Q and the gravity center position G of the work vehicle 1 and the Y ′ axis as the amount of position deviation (position) of the work vehicle 1 with respect to the target travel route T. (Shift angle). If the distance between the origin O ′ and the center of gravity G of the work vehicle 1 is ⁇ x, the positional deviation amount ⁇ can be calculated from the following equation (2).
  • the azimuth deviation calculation unit 45B calculates an angle ⁇ formed by the direction (front-rear direction) of the work vehicle 1 and the target direction (Y ′ axis) as an azimuth deviation amount.
  • the azimuth deviation amount ⁇ is obtained in the same manner as the positional deviation amount ⁇ by obtaining the Y ′ coordinate value of the intersection of the straight line extending through the center of gravity G of the work vehicle 1 and extending in the front-rear direction of the work vehicle 1 and the Y ′ axis. Can be calculated.
  • the correction unit 46 includes a position correction unit 46A and an azimuth correction unit 46B.
  • the position correction unit 46A corrects the position of the work vehicle 1 between the crop rows so as to approach the target travel route T based on the positional deviation amount ⁇ calculated by the position deviation calculation unit 45A.
  • the azimuth correction unit 46B corrects the azimuth of the work vehicle 1 between crop rows so as to approach the target azimuth based on the azimuth deviation amount ⁇ calculated by the azimuth deviation calculation unit 45B. That is, in this embodiment, the correction unit 46 controls the crawler control mechanism 15 so that the positional deviation amount ⁇ approaches zero and the azimuth deviation amount ⁇ approaches zero.
  • FIG. 14 is a flowchart showing an overall procedure of the automatic traveling control process by the automatic traveling control unit 32.
  • the operation mode of the work vehicle 1 includes a search mode and a run mode.
  • the search mode is a mode in which a target travel route and a target direction are set by performing crop row recognition processing before entering between crop rows.
  • the crop row recognition process is a setting of the target travel route T and the target direction, the row interval by the crop row recognition processing unit 41, the target crop row pair extraction unit 42, the rectangle recognition unit 43, the target setting unit 44, and the deviation calculation unit 45.
  • W a process of calculating a positional deviation amount ⁇ from the target travel route T, an orientation deviation amount ⁇ from the target direction, and the like.
  • the run mode is a mode in which the work vehicle 1 travels so that the positional deviation amount ⁇ and the azimuth deviation amount ⁇ approach zero while performing the crop row recognition process.
  • the user When performing automatic traveling control, the user sets the row interval W and the target number of turns N to the work vehicle 1.
  • the target number of turns N is the number of turns of the work vehicle 1 that is predicted to be performed after the automatic operation is started until the work vehicle 1 reaches the position where the automatic operation should be stopped.
  • the column interval W and the target number of turns N set by the user are stored in the memory 31.
  • the user moves the work vehicle 1 to the vicinity of the automatic travel start position, for example, by remote operation. Then, the user starts automatic traveling control by remote operation, for example.
  • step S2 If the number of turns of the work vehicle 1 has not reached the target number of turns N (step S2: NO), the automatic travel control unit 32 performs the above-described crop row recognition process (step S3).
  • the automatic travel control unit 32 determines whether or not the crop row detection has succeeded (step S4). Specifically, the automatic travel control unit 32 has the positional deviation amount ⁇ calculated by the crop row recognition process within a predetermined first range and the azimuth deviation amount ⁇ calculated by the crop row recognition processing is a predetermined second. If the success / failure determination condition of being within the range is satisfied, it is determined that the crop row detection is successful. On the other hand, if the target crop row pair is not specified by the crop row recognition process, or if the success / failure determination condition is not satisfied even if the target crop row pair is specified, the automatic travel control unit 32 sets the crop row. Determine that detection failed.
  • step S4 determines whether the operation mode is the search mode (step S5).
  • step S5 search mode
  • step S6 the automatic travel control unit 32 moves the work vehicle 1 to change the position of the work vehicle 1 and perform the crop row recognition process again.
  • the automatic travel control unit 32 may simply retract the work vehicle 1 by a predetermined amount when the target crop row pair has not been specified in the crop row recognition process of step S3. .
  • the automatic travel control unit 32 operates on the center position side between the two crop rows constituting the target crop row pair. The vehicle 1 may be moved.
  • the automatic travel control unit 32 returns to step S2.
  • step S5 If it is determined in step S5 that the operation mode is the run mode (step S5: NO), the automatic travel control unit 32 returns to step S2.
  • step S4 when it is determined that the crop row detection is successful (step S4: YES), the automatic travel control unit 32 updates the row interval W in the memory 31 (step S7). Specifically, the automatic travel control unit 32 rewrites the row interval W stored in the memory 31 to the row interval W acquired by the crop row recognition process in step S3.
  • the automatic travel control unit 32 determines whether or not the operation mode is the search mode (step S8).
  • the operation mode is the search mode (step S8: YES)
  • the automatic travel control unit 32 sets a reference direction (step S9). Specifically, the automatic travel control unit 32 uses the azimuth deviation amount ⁇ calculated in step S3 and the azimuth of the work vehicle 1 currently detected by the azimuth sensor 14 to determine the target azimuth set in step S3. This is converted into an orientation detected by the orientation sensor 14. Then, the automatic travel control unit 32 stores the converted orientation in the memory 31 as the reference orientation. Thereby, the difference between the azimuth of the work vehicle 1 detected by the azimuth sensor 14 and the reference azimuth can be detected as the azimuth deviation amount of the azimuth of the work vehicle 1 with respect to the target azimuth.
  • the automatic travel control unit 32 sets the operation mode to the run mode (step S10). And the automatic travel control part 32 transfers to step S11.
  • the correction unit 46 of the automatic travel control unit 32 controls the crawler control mechanism 15 so that the positional deviation amount ⁇ and the azimuth deviation amount ⁇ approach zero.
  • step S8 when it is determined that the operation mode is the run mode (step S8: NO), the automatic travel control unit 32 proceeds to step S11.
  • step S11 the automatic travel control unit 32 determines whether or not the crop row detection is successful for a predetermined number of times or more in succession.
  • step S4 When the determination result of step S4 is success of crop row detection for a predetermined number of times or more (step S11: YES), the automatic travel control unit 32 updates the reference orientation (step S12). Specifically, the automatic travel control unit 32 uses the heading deviation amount ⁇ set in step S3 and the heading of the work vehicle 1 currently detected by the heading sensor 14 to determine the target heading set in step S3. , Converted to the direction detected by the direction sensor 14. Then, the automatic travel control unit 32 rewrites the reference orientation stored in the memory 31 to the converted orientation. Thereafter, the automatic travel control unit 32 proceeds to step S13.
  • step S11 when it is determined that the determination result in step S4 is not a success in crop row detection for a predetermined number of times or more (step S11: NO), the automatic travel control unit 32 does not update the reference orientation.
  • the process proceeds to step S13.
  • the reference azimuth is updated only when the result of the determination in step S4 is successful crop row detection for a predetermined number of times or more when the crop row recognition process is not accurately performed due to the influence of noise or the like. This is to prevent the reference orientation from being updated.
  • step S13 the automatic travel control unit 32 determines whether or not the work vehicle 1 has arrived at the end of travel between the crop rows (row end). For example, the automatic travel control unit 32 starts measuring the travel distance when the work vehicle 1 reaches a position a predetermined distance from the end of travel between the target crop row pairs, and the measured travel distance becomes the predetermined distance. When reaching, it is determined that the work vehicle 1 has arrived at the end of travel between the crop rows. The automatic travel control unit 32 starts timing when the work vehicle 1 reaches a position a predetermined distance before the end of travel between the target crop row pairs, and the time required for the work vehicle 1 to travel the predetermined distance. It may be determined that the work vehicle 1 has arrived at the end of travel between the crop rows when has elapsed.
  • step S13 NO
  • the automatic travel control unit 32 returns to step S2.
  • step S13 When it is determined in step S13 that the work vehicle 1 has arrived at the end of travel between the target crop row pairs (step S13: YES), the automatic travel control unit 32 works to the start of travel between the next crop rows.
  • the work vehicle 1 In order to move the vehicle 1, the work vehicle 1 is turned (step S14). Specifically, the automatic travel control unit 32 controls the crawler control mechanism 15 to turn the work vehicle 1 about 180 degrees in a predetermined turning direction. The turning radius is set to 1 ⁇ 2 of the row interval W stored in the memory 31.
  • the predetermined turning direction is determined based on a preset turning direction at the first traveling end and information on how many turns this turn is. For example, if the turning direction at the end of the first turn is right, if the current turn is an odd turn, the turn direction is the right direction, and if this turn is an even turn, the turn direction is the left direction. . On the other hand, if the turning direction at the end of the first turn is left, if the current turn is an odd turn, the turn direction is left, and if the turn is an even turn, the turn direction is right. .
  • step S14 When the process of step S14 ends, the automatic travel control unit 32 returns to step S2.
  • step S2 when it is determined that the number of turns of the work vehicle 1 has reached the target number of turns N (step S2: YES), the automatic travel control unit 32 ends the automatic travel control.
  • the automatic travel control unit 32 returns to step S2 after turning in step S14, but may return to step S1 after turning in step S14.
  • the operation mode is set to the search mode, so the work vehicle is temporarily stopped.
  • adjacent crop rows L may be bent in the middle rather than straight.
  • the inclination of the adjacent crop row L may change in the middle.
  • the target orientation reference orientation
  • the target orientation of the work vehicle 1 is determined as the crop row. It can be changed according to the change of the inclination of. This point will be described with reference to FIG.
  • the two crop rows La and Lb constituting the target crop row pair are bent rightward in the vicinity of the intermediate positions Pa and Pb in the length direction.
  • the work vehicle 1 automatically travels between the crop rows La and Lb from the lower side to the upper side in FIG.
  • the lower end between crop rows in FIG. 15 is a travel start point
  • the upper end between crop rows is a travel end point.
  • the automatic travel control unit 32 recognizes the first rectangle R1 corresponding to the portion from the travel start point between the crop rows La and Lb to the bending points Pa and Pb of the crop rows La and Lb.
  • the inclinations (target azimuths) of the left and right sides of the first rectangle R1 are angles according to the average inclination of the portion from the travel start point in the crop rows La and Lb to the bending points Pa and Pb of the crop rows La and Lb. Therefore, the work vehicle 1 travels as indicated by the arrow V1.
  • the automatic travel control unit 32 corresponds to a portion corresponding to a portion including the bending points Pa, Pb in the crop rows La, Lb in the middle in the length direction. Recognize two rectangles R2.
  • the inclinations (target orientations) of the left and right sides of the second rectangle R2 are angles according to the average inclination of the portion including the bending points Pa, Pb in the crop rows La, Lb in the middle of the length direction. For this reason, the inclination of the second rectangle R2 is an angle inclined rightward toward the traveling direction with respect to the inclination of the first rectangle R1.
  • the target azimuth reference azimuth
  • the automatic travel control unit 32 is a third rectangle R3 corresponding to the traveling end side portion of the crop rows La, Lb than the bending points Pa, Pb. Recognize The inclination (target azimuth
  • the target azimuth (reference azimuth) is corrected to the right side in the traveling direction. Therefore, the work vehicle 1 travels as indicated by the arrow V3. Thus, the work vehicle 1 travels along the target travel route corresponding to the shape of the crop rows La and Lb even when the crop rows La and Lb are bent in the middle.
  • distance information of each object is acquired by the distance sensor 13 using laser light, and a bird's-eye view image of the field H is generated based on the acquired distance information. Then, the crop row is recognized based on the generated bird's-eye view image. Therefore, the bird's-eye view image generated by this configuration is less affected by the field environment such as lighting conditions and seasons than the bird's-eye view image generated based on the captured image of the camera. For this reason, in the above-mentioned embodiment, it becomes possible to recognize a crop row stably irrespective of the field environment.
  • a plurality of virtual points arranged in the crop row direction are created in each row candidate region, and a straight line corresponding to the crop row is recognized from the plurality of virtual points. Therefore, even when the detection points of objects other than crops such as weeds are included in the row candidate region, the influence of the detection points of such objects other than crops is recognized when recognizing the straight line corresponding to the crop row. Can be reduced. This makes it possible to recognize the crop row with high accuracy.
  • one or a plurality of column candidate regions including two or more detection points located within a predetermined distance are generated and generated.
  • a straight line corresponding to the column candidate region is estimated from a plurality of virtual points created for the column candidate region. Therefore, even when the detection points of objects other than crops such as weeds are included in the row candidate areas, when estimating the straight line corresponding to the row candidate areas, the detection points of such objects other than crops are estimated. The influence can be reduced. This makes it possible to recognize the crop row with high accuracy.
  • the work vehicle 1 is moved to the automatic travel start position by remote operation, but the work vehicle 1 may be transported to the automatic travel start position by a truck or the like. Alternatively, the work vehicle 1 may be manually operated and moved to the automatic travel start position by manual operation.
  • the work vehicle is a work vehicle for spraying medicine.
  • the work vehicle may be a work vehicle other than for spraying medicine.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

作業車両は、圃場に存在する複数の物体に向かってレーザ光を照射し、物体からの反射光を受光することによって、物体各々の距離情報を取得する距離センサと、距離情報に基づいて物体各々の位置を検出し、検出された物体各々の位置を検出点として含む鳥瞰画像を生成する鳥瞰画像生成部５１と、鳥瞰画像に含まれる検出点のうち、所定距離以内に位置する２以上の検出点を結合することにより、１または複数の列候補領域を生成する列候補領域生成部５２と、各列候補領域において複数の仮想点を作成し、複数の仮想点から当該列領域候補に対応する直線を推定し、各列候補領域に対応する直線から、作物列を認識する作物列認識部５３とを含む。

Description

作業車両および作物列認識プログラム
　この発明は、作業車両および作物列認識プログラムに関する。
　特許文献１には、ステレオカメラによって得られた視差画像を用いて作物列を検出することが開示されている。
　特許文献２には、vision moduleが収集した画像を作物領域と非作物領域に分けることが開示されている。
　特許文献３には、カメラによって得られた画像において作物列を認識することが開示されている。
米国特許第8855405号明細書 米国特許第8150574号明細書 米国特許出願公開第2015/32169号明細書
　前述の各特許文献１～３では、作物列を認識するに当たり、カメラによって撮影された圃場の画像を使用する。しかしながら、これらの特許文献１～３では、カメラで画像を撮影するため、例えば逆光や夜間等、照明条件が良好ではない場合、作物列を認識することが困難になる。また、作物の枝や葉等の状態は季節によって変化する。作物の状態の変化に伴って撮影される画像も変化するため、カメラで撮影された画像を使用する場合、作物列を安定して認識することは難しい。
　本発明は、圃場の環境にかかわらず、安定して作物列を認識することが可能となる作業車両を提供することを目的とする。
　また、本発明は、作物列を高精度で認識することができる作物列認識プログラムを提供することを目的とする。
　この発明による作業車両は、作物列が植え付けられた圃場を走行する作業車両であって、前記圃場に存在する複数の物体に向かってレーザ光を照射し、前記物体からの反射光を受光することによって、前記物体各々の距離情報を取得する距離センサと、前記距離情報に基づいて前記物体各々の位置を検出し、検出された前記物体各々の位置を検出点として含む鳥瞰画像を生成する鳥瞰画像生成部と、前記鳥瞰画像に含まれる前記検出点のうち、所定距離以内に位置する２以上の検出点を結合することにより、作物列方向に延びる１または複数の列候補領域を生成する列候補領域生成部と、前記各列候補領域において前記作物列方向に並ぶ複数の仮想点を作成し、前記複数の仮想点から前記作物列に対応する直線を認識する作物列認識部とを含む。
　この構成では、レーザ光を利用した距離センサによって各物体の距離情報が取得され、取得された距離情報に基づいて圃場の鳥瞰画像が生成される。そして、生成された鳥瞰画像に基づいて、作物列が認識される。したがって、この構成によって生成される鳥瞰画像は、カメラの撮像画像に基づいて生成される圃場の鳥瞰画像に比べて、照明条件や季節等といった圃場の環境の影響を受けにくい。このため、この構成では、圃場の環境にかかわらず、安定して作物列を認識することが可能となる。
　また、この構成では、各列候補領域において作物列方向に並ぶ複数の仮想点が作成され、複数の仮想点から作物列に対応する直線が認識される。したがって、列候補領域に雑草等の作物以外の物体の検出点が含まれている場合においても、作物列に対応する直線を認識する際に、このような作物以外の物体の検出点の影響を低減することができる。これにより、作物列を高精度で認識することが可能となる。
　この発明の一実施形態では、前記列候補領域生成部は、前記鳥瞰画像に対して、前記検出点の画像を膨張させて近くにある複数の前記検出点を結合させるためのぼかし処理を行って、１または複数の塊画像を生成するぼかし処理部と、前記塊画像のうち、所定の選択条件を満たすものを列候補領域として選択する選択部とを含む。所定の選択条件は、例えば、塊画像の大きさが所定以上でかつ塊画像が作物列方向に長いという条件である。
　この発明の一実施形態では、前記仮想点は、前記列候補領域において、前記作物列方向の両端部に配置される第１仮想点と、前記作物列方向の両端部間に配置される１つの点または前記作物列方向の両端部間に所定間隔で配置される複数の点からなる第２仮想点とを含む。
　この構成では、列候補領域に対応する直線を高精度に推定できるので、作物列を高精度で認識することが可能となる。
　この発明の一実施形態では、前記列候補領域に配置される前記第１仮想点および前記第２仮想点は、当該列候補領域の近似四角形に基づいて作成される。
　この発明の一実施形態では、前記作物列認識部は、前記列候補領域毎に、当該列候補領域に対して作成された前記複数の仮想点から、当該列候補領域に対応する直線を推定する直線推定部と、前記直線推定部によって推定された前記各列候補領域に対応する直線のうち、所定の結合条件を満たす直線どうしを結合することにより、前記作物列に対応する直線を生成する直線結合部とを含む。所定の結合条件は、例えば、２つの直線の間隔が所定間隔以下であり、２つの直線の傾きの差が所定範囲内であることである。
　この構成では、同じ作物列に対して複数の列候補領域が生成されている場合に、これらの列候補領域に対応する直線どうしを結合することによって、当該作物列に対応する直線を生成できるようになる。
　この発明の一実施形態では、前記作物列認識部は、少なくとも２つの作物列を認識するように構成されており、前記作業車両は、前記２つの作物列の重心間の距離が所定範囲内にある場合、当該２つの作物列を長辺とする矩形を認識する矩形認識部をさらに含む。
　この構成では、認識された矩形に基づいて、２つの作物列の列間隔、２つの作物列に対する作業車両の位置等を認識することが可能となる。
　この発明による作物列認識プログラムは、圃場内に植え付けられた作物列を認識するための作物列認識プログラムであって、コンピュータを、所定の基準位置から前記圃場に存在する複数の物体各々までの距離情報に基づいて前記物体各々の位置を検出し、検出された前記物体各々の検出点を含む鳥瞰画像を生成する鳥瞰画像生成手段、前記鳥瞰画像に含まれる前記検出点のうち、所定距離以内に位置する２以上の検出点を結合することにより、作物列方向に延びる１または複数の列候補領域を生成する列候補領域生成手段、および前記各列候補領域において前記作物列方向に並ぶ複数の仮想点を作成し、前記複数の仮想点から当該列領域候補に対応する直線を推定し、前記各列候補領域に対応する直線から、前記作物列を認識する作物列認識手段、として機能させる。
　このプログラムでは、各列候補領域において作物列方向に並ぶ複数の仮想点が作成され、複数の仮想点から当該列領域候補に対応する直線が認識される。したがって、列候補領域に雑草等の作物以外の物体の検出点が含まれている場合においても、当該列候補領域に対応する直線を推定する際に、このような作物以外の物体の検出点の影響を低減することができる。これにより、作物列を高い精度で認識することが可能となる。
　本発明における上述の、またはさらに他の目的、特徴および効果は、添付図面を参照して次に述べる実施形態の説明により明らかにされる。
図１は、この発明の一実施形態に係る作業車両の概略構成を示す側面図である。 図２は、図１の作業車両の概略構成を示す正面図である。 図３は、作業車両が圃場を自動走行する様子を示す模式図である。 図４は、作業車両の主要な電気的構成を示すブロック図である。 図５は、作物列認識処理部の電気的構成を示すブロック図である。 図６は、作物列に含まれる作物に対して距離センサからレーザ光が照射されている様子を示す模式的な斜視図である。 図７は、図６を上方から見た模式的な平面図である。 図８は、鳥瞰画像生成部によって生成された鳥瞰画像の一例を示す模式図である。 図９は、ぼかし処理部によって生成されたノイズ除去後のぼかし画像の一例を示す模式図である。 図１０は、直線結合部の動作を説明するための模式図である。 図１１Ａは、矩形認識処理の手順を説明するための模式図である。 図１１Ｂは、図１１Ａの次の手順を説明するための模式図である。 図１１Ｃは、図１１Ｂの次の手順を説明するための模式図である。 図１１Ｄは、図１１Ｃの次の手順を説明するための模式図である。 図１２は、目標設定部の動作を説明するための模式図である。 図１３は、偏差算出部の動作を説明するための模式図である。 図１４は、自動走行制御部による自動走行制御処理の全体的な手順を示すフローチャートである。 図１５は、隣り合う作物列の傾きが途中で変化している場合においても作物列の傾きの変化に応じて目標方位を修正できることを説明するための模式図である。
　図１は、この発明の一実施形態に係る作業車両の概略構成を示す側面図である。図２は、図１の作業車両の概略構成を示す正面図である。
　作業車両１は、この実施形態では、薬液散布用の作業車両である。作業車両１は、走行装置２と、走行装置２上に支持された機体フレーム３と、機体フレーム３上に設けられた薬液散布装置４とを含む。この実施形態では、走行装置２は、クローラ式であり、左右の走行装置２Ｌ，２Ｒとを含む。走行装置２は、ホイル式であってもよい。なお、以下において、ホイル式の走行装置を有する車両の略図を、作業車両１の略図として用いる場合がある。
　機体フレーム３の後部に駆動源としてのエンジン５が配置されている。機体フレーム３の前部には、支持枠６が設けられている。支持枠６は、機体フレーム３に支持された左右一対のマスト６Ａ，６Ｂと、これらのマスト６Ａ，６Ｂの上端どうしを連結する第１連結部材６Ｃと、これらのマスト６Ａ，６Ｂの長さ中間部どうしを連結する第２連結部材６Ｄとを含む。
　薬液散布装置４は、薬液タンク７と、ノズルユニット８と、ポンプユニット９とを含む。薬液タンク７は、機体フレーム３上の前後中央部に配置されている。薬液タンク７には薬液が収容される。薬液は、作物または土壌に散布される液体であればよく、農薬、水等を含む。ノズルユニット８は、支持枠６における上端寄りの位置に取り付けられている。ノズルユニット８は、左右方向に延びた中空体状であり、両端に薬液を噴出させるためのノズル８ａ，８ｂを有している。ノズルユニット８には、薬液流入口（図示略）が形成されている。
　ポンプユニット９は、図１および図２に図示していないが、この実施形態では、エンジン５の動力によって回転駆動されるポンプ９Ａ（図４参照）と、エンジン５の回転力をポンプ９Ａに伝達したり遮断したりするクラッチ機構９Ｂ（図４参照）等を含む。ポンプ９Ａの吸込口は、ホース１０を介して薬液タンク７に接続されている。また、ポンプ９Ａの吐出口は、ホース１１を介してノズルユニット８の薬液流入口に接続されている。ポンプ９Ａが回転駆動されると、薬液タンク７内の薬液がポンプ９Ａを介してノズルユニット８に供給され、ノズル８ａ，８ｂから薬液が噴出される。
　作業車両１には、物体までの距離を測定するための距離センサ１３および作業車両１の方位（姿勢）を検出するための方位センサ（姿勢センサ）１４（図４参照）が搭載されている。距離センサ１３は、作業車両１の前部の幅中央位置に配置されている。
　距離センサ１３としては、レーザ光を利用して物体までの距離を測定するセンサが用いられる。この実施形態では、距離センサ１３としては、例えば、レーザ光をパルス状に照射して物体に反射されて帰ってくるまでの時間から距離を測定するＬＩＤＡＲ（Light Detection and Ranging, Laser Imaging Detection and Ranging）が用いられている。特に、この実施形態では、距離センサ１３としては、レーザ光を可動ミラーによって方向を変えてスキャンすることで、物体の方位も検出できるスキャンＬＩＤＡＲが用いられている。
　方位センサ（姿勢センサ）１４としては、ジャイロセンサ、地磁気センサ、ＩＭＵ（Inertial Measurement Unit）等を用いることができる。
　図１および図２には図示されていないが、作業車両１には、エンジン５の駆動力を左右の走行装置２Ｌ，２Ｒに伝達して、左右の走行装置２Ｌ，２Ｒを独立して駆動制御するクローラ制御機構１５（図４参照）が設けられている。クローラ制御機構１５は、左右の走行装置２Ｌ，２Ｒを独立して駆動させることにより、作業車両１に前進、後進、旋回等を行わせるための機構である。具体的には、クローラ制御機構１５によって、左右の走行装置２Ｌ，２Ｒが同一方向に同一速度で回転駆動されると、作業車両１は前進または後進する。一方、クローラ制御機構１５によって、左右の走行装置２Ｌ，２Ｒが同一方向に異なる速度で回転駆動されるか、左右の走行装置２Ｌ，２Ｒが互いに逆方向に回転駆動されると、作業車両１は旋回する。
　この実施形態では、作業車両１は、図３に示すように、作物Ｓが列状に植えられている圃場Ｈを自動走行しながら、作物Ｓに薬液を散布する。この実施形態では、作物Ｓは果樹であり、圃場Ｈは果樹園である。この明細書では、作物Ｓの列を作物列Ｌということにする。図３の例では、縦方向に並んだ作物Ｓの列が作物列Ｌであり、圃場Ｈ内には５つの作物列Ｌ１～Ｌ５が横方向に間隔をおいて植え付けられている。各作物列Ｌ１～Ｌ５には、複数の作物Ｓがほぼ等間隔で並んで配置されている。これらの作物列Ｌ１～Ｌ５を左から順に、第１作物列Ｌ１、第２作物列Ｌ２、第３作物列Ｌ３、第４作物列Ｌ４および第５作物列Ｌ５ということにする。また、隣り合う作物列間の空間のうち図３の下側の端部を手前側端といい、図３の上側の端部を奥側端ということにする。
　作業車両１は、例えば、第１作物列Ｌ１と第２作物列Ｌ２との間の手前側端付近を自動走行開始位置として、これらの作物列間に目標走行経路を設定しながら、当該作物列間を奥側端に向かって自動走行する。作業車両１が当該作物列間の奥側端に到達すると、作業車両１は進行方向に向かって右方向に旋回して、第２作物列Ｌ２と第３作物列Ｌ３との間の奥側端に移動する。そして、作業車両１は、第２作物列Ｌ２と第３作物列Ｌ３との間に目標走行経路を設定しながら、当該作物列間を手前側端に向かって自動走行する。
　作業車両１が当該作物列Ｌ２，Ｌ３間の手前側端に到達すると、作業車両１は進行方向に向かって左方向に旋回して、第３作物列Ｌ３と第４作物列Ｌ４の間の手前側端に移動する。そして、作業車両１は、第３作物列Ｌ３と第４作物列Ｌ４との間に目標走行経路を設定しながら、当該作物列間を奥側端に向かって自動走行する。以下同様な動作により、作業車両１は、図３に破線で示すように移動する。そして、例えば、作業車両１が第４作物列Ｌ４と第５作物列Ｌ５との間の手前側端に到達した後、進行方向に向かって左方向に旋回すると、自動走行が停止される。自動走行中は、クラッチ機構９Ｂを介してポンプ９Ａが駆動され、ノズル８ａ，８ｂから薬剤が噴出される。
　以下において、ある隣り合う作物列間において、当該作物列間の手前側端と奥側端のうち、作業車両１の走行が開始される側の端を当該作物列間の走行始端といい、走行始端と反対側の端を当該作物列間の走行終端という場合がある。また、隣り合う作物列の間隔Ｗを列間隔という場合がある。また、同じ作物列Ｌ内の隣り合う２つの作物の間隔ｄを幹間隔という場合がある。
　ユーザ等は、図示しない遠隔操作装置を操作することによって作業車両１を遠隔操作することが可能であるが、このような遠隔操作技術はよく知られているので、遠隔操作を行うための具体的な構成の説明については省略する。
　図４は、作業車両１の主要な電気的構成を示すブロック図である。
　作業車両１は、作業車両１の動作を制御するための制御装置３０を備えている。
　制御装置３０には、距離センサ１３、方位センサ１４、エンジンコントローラ２１、走行コントローラ２２、クラッチ作動装置２３、記憶部２４等が接続されている。
　距離センサ１３は、前述したように、圃場Ｈに存在する複数の物体各々までの距離情報を検出するものである。複数の物体の主たる対象は、作物Ｓである。方位センサ１４は、前述したように、作業車両１の方位を検出するためのものである。
　エンジンコントローラ２１は、エンジン５の回転数等を制御するものである。具体的には、エンジンコントローラ２１は、エンジン５に設けられる燃料噴射装置としてのコモンレール装置１６を制御することによって、エンジン５の回転数を制御する。エンジンコントローラ２１は、コモンレール装置１６を制御することによって、エンジン５への燃料の供給を停止させ、エンジン５の駆動を停止させることもできる。
　走行コントローラ２２は、クローラ制御機構１５を制御することによって、作業車両１の前進、後進、旋回および停止を制御する。クラッチ作動装置２３は、ポンプユニット９内のクラッチ機構９Ｂを締結・解放させるための装置である。記憶部２４は、ハードディスク、不揮発性メモリ等の記憶デバイスから構成されている。
　制御装置３０は、ＣＰＵおよびメモリ（ＲＯＭ，ＲＡＭ等）３１を備えたマイクロコンピュータを含む。制御装置３０は、圃場Ｈ内の隣り合う作物列Ｌ間に目標走行経路を設定しながら、作業車両１を目標走行経路に沿って自動走行させるための自動走行制御部３２を含む。自動走行制御部３２は、作物列認識処理部４１と、目標作物列ペア抽出部４２と、矩形認識部４３と、目標設定部４４と、偏差算出部４５と、補正部４６とを含む。
　作物列認識処理部４１は、距離センサ１３によって検出された各物体までの距離情報に基づいて、圃場Ｈ内の複数の作物列Ｌを認識するための処理を行う。作物列認識処理部４１は、図５に示すように、鳥瞰画像生成部５１と、列候補領域生成部５２と、作物列認識部５３とを含む。
　鳥瞰画像生成部５１は、距離センサ１３によって検出された各物体までの距離情報に基づいて物体各々の位置を検出し、検出された物体各々の位置を検出点として含む鳥瞰画像を生成する。以下、鳥瞰画像生成部５１の動作について詳しく説明する。
　図６は、作物列に含まれる作物Ｓに対して距離センサ１３からレーザ光が照射されている様子を示す模式的な斜視図である。図７は、図６を上方から見た模式的な平面図である。図６および図７には、隣り合う２つの作物列Ｌａ，Ｌｂが示されている。
　図７を参照して、距離センサ１３におけるレーザ光出力位置を原点Ｏとし、原点Ｏを通りかつ作業車両１の左右方向に平行な直線をＸ軸とし、原点Ｏを通り作業車両１の前後方向に平行な直線をＹ軸にとった座標系をセンサ座標系ということにする。
　距離センサ１３からは、レーザ光が方向を変えて出射される。レーザ光の出射方向（出射角度）θを、＋Ｘ軸とレーザ光とのなす角であって、原点Ｏを中心とした反時計回りの角度で表すことにする。レーザ光が出射角度θで出力されたときに、ある物体までの距離ｒが検出された場合には、距離ｒおよび出射角度θとの組み合わせ（ｒ，θ）が、当該物体に対する距離情報として取得される。距離情報が（ｒ，θ）である物体のセンサ座標系のＸ座標値ｘおよびＹ座標値ｙは、次式（１）によって表される。
　ｘ＝ｒcosθ
　ｙ＝ｒsinθ…（１）
　鳥瞰画像生成部５１は、前記式（１）に基づいて、距離センサ１３からの距離が検出された物体各々の位置を検出する。そして、鳥瞰画像生成部５１は、物体各々の位置を検出点として含む鳥瞰画像を生成する。図８は、鳥瞰画像生成部５１によって生成された鳥瞰画像の一例を示す模式図である。
　図５に戻り、列候補領域生成部５２は、鳥瞰画像に含まれる検出点のうち、所定距離以内に位置する２以上の検出点を結合することにより、作物列方向に延びる１または複数の列候補領域を生成する。具体的には、列候補領域生成部５２は、ぼかし処理部５２Ａと選択部５２Ｂとを含む。
　ぼかし処理部５２Ａは、鳥瞰画像に対して、検出点の画像を膨張させて近くにある検出点を結合させるぼかし処理を行って１または複数の塊画像を含むぼかし画像を生成する。この実施形態では、ぼかし処理部５２Ａは、ガウシアンフィルタによって鳥瞰画像に対してぼかし処理を行うことにより、多値画像からなるぼかし画像を生成する。そして、ぼかし処理部５２Ａは、ノイズを除去するために、所定の閾値を用いて、多値画像からなるぼかし画像を、二値画像からなるぼかし画像に変換する。二値画像からなるぼかし画像をノイズ除去後のぼかし画像という場合がある。図９は、ぼかし処理部５２Ａによって生成されたノイズ除去後のぼかし画像の一例を示す模式図である。
　図５に戻り、選択部５２Ｂは、ノイズ除去後のぼかし画像に含まれる塊画像のうち、所定の選択条件を満たすものを列候補領域として選択する。所定の選択条件は、例えば、塊画像の大きさが所定以上でかつ塊画像が作物列方向に長いという条件である。塊画像が作物列方向に長いという条件は、この実施形態では、センサ座標系のＸ軸方向よりもＹ軸方向に長いという条件であり、例えば、塊画像のアスペクト比から判定することができる。選択部５２Ｂは、列候補領域を矩形に近似し、近似矩形の面積およびアスペクト比に基づいて、当該列候補領域が選択条件を満たしているか否かを判定するようにしてもよい。
　図５に戻り、作物列認識部５３は、各列候補領域において作物列方向に並ぶ複数の仮想点を作成し、複数の仮想点から作物列に対応する直線を認識する。作物列認識部５３は、直線推定部５３Ａと、直線結合部５３Ｂとを含む。
　直線推定部５３Ａは、列候補領域毎に、当該列候補領域に対して作成された複数の仮想点から、当該列候補領域に対応する直線を推定する。直線推定部５３Ａは、ある列候補領域に対応する直線を、例えば、次のようにして推定する。すなわち、直線推定部５３Ａは、当該列候補領域を四角形に近似する。この実施の形態では、説明の便宜上、直線推定部５３Ａは、当該列候補領域を、傾きがＸ軸よりもＹ軸に近い互いに平行な２辺（以下、長辺という）を有する四角形（矩形、平行四辺形または台形）に近似する。次に、直線推定部５３Ａは、当該列候補領域の四隅に第１仮想点を配置するとともに、当該近似四角形の中心を通りかつ長辺に平行な直線上に所定間隔おきに第２仮想点を配置する。そして、直線推定部５３Ａは、第１仮想点および第２仮想点から直線を近似し、得られた直線を当該列候補領域の直線として推定する。前記所定間隔は、例えば、予め設定された幹間隔ｄに設定される。第２仮想点は、近似四角形の重心に対応する１つの点から構成されてもよい。
　直線結合部５３Ｂは、直線推定部５３Ａによって推定された各列候補領域に対応する直線のうち、所定の結合条件を満たす直線どうしを結合することにより、作物列に対応する直線を生成する。所定の結合条件は、例えば、２つの直線の間隔が所定間隔以下であり、２つの直線の傾きの差が所定範囲内であることである。２つの直線の距離が所定間隔以下であるか否かは、例えば、それらの重心（中点）のＸ座標値のずれ量が所定値以下であるか否かによって判定される。
　具体的には、直線結合部５３Ｂは、ある２つの列候補領域に対応する直線が、結合条件を満たすか否かを判別する。そして、結合条件を満たしていれば、直線結合部５３Ｂは、当該２つの直線を結合する。直線結合部５３Ｂは、このような処理を繰り返し行う。これにより、同じ作物列上に存在すると推定される複数の列候補領域の直線が結合される。この結果、各作物列に対応する直線が生成される。言い換えれば、各作物列が認識される。
　例えば、図１０に示すように、Ｙ軸に沿う方向に並んだ２つの列候補領域Ａ１およびＡ２が存在しており、これらの列候補領域Ａ１およびＡ２に対して直線推定部５３Ａによって推定された直線がそれぞれε１およびε２であるとする。この場合において、直線ε１と直線ε２が結合条件を満たしていれば、これらの直線ε１，ε２が結合されて１つの直線にされる。
　２つの直線ε１，ε２の結合は、例えば、図１０に鎖線ε１２で示すように、これらの直線ε１，ε２上の点のうち、Ｙ座標値が最も小さい点とＹ座標値が最も大きい点を結ぶことにより行われる。なお、２つの直線ε１，ε２の結合は、他の方法で行われてもよい。例えば、２つの直線ε１，ε２の結合は、直線ε１の両端の端点と直線ε２両端の端点との４つの端点とから一本の直線を求めることによって行われてもよい。
　図４に戻り、目標作物列ペア抽出部４２は、作物列認識部５３によって認識された複数の作物列Ｌから、作業車両１の目標走行経路を生成するために使用される隣り合う２つの作物列ペアを、目標作物列ペアとして抽出する。具体的には、目標作物列ペア抽出部４２は、まず、隣り合う作物列Ｌの重心間の距離が所定範囲内にある作物列ペアをペア候補として設定する。より具体的には、目標作物列ペア抽出部４２は、隣り合う作物列Ｌの重心（中点）のＸ座標値の差分が所定範囲内にある作物列ペアをペア候補として設定する。所定範囲は、現在設定されている列間隔Ｗよりも所定長だけ短い長さから列間隔Ｗよりも所定長だけ長い長さまでの範囲に設定される。
　次に、目標作物列ペア抽出部４２は、例えば、作業車両１の左右中心を通りかつ作業車両１の前後方向に延びる直線を、隣り合う２つの作物列が挟むような配置にあるペア候補を、目標作物列ペアとして抽出する。
　矩形認識部４３は、目標作物列ペアを、当該目標作物列ペアを構成する２つの作物列を対辺とする矩形（長方形または正方形）として認識する。言い換えれば、矩形認識部４３は、目標作物列ペアに近似する矩形を認識する。以下、この処理を矩形認識処理ということにする。以下において、矩形の隣接する２つの辺のうちの一方の辺を第１辺といい、他方の辺を第２辺ということにする。
　以下、図１１Ａ～図１１Ｄを参照して、矩形認識処理の一例について説明する。
　例えば、図１１Ａに示すように、２つの作物列ＬａおよびＬｂが目標作物列ペアとして選択されたとする。矩形認識部４３は、まず、目標作物列ペアの重心ｇおよび傾きａを算出する。具体的には、矩形認識部４３は、作物列Ｌａの端点Ｐ１，Ｐ２の座標と、作物列Ｌｂの端点Ｐ３，Ｐ４の座標を取得する。そして、矩形認識部４３は、この４点を頂点とする四角形の重心を目標作物列ペアの重心ｇとして算出する。目標作物列ペアの傾きａは、例えば、２つの作物列Ｌａ，Ｌｂの間のほぼ中央を通る直線Ｋ０の傾きであり、例えば最小二乗法等によって算出できる。以下において、このようにして算出された目標作物列ペアの傾きａを、「第１の傾きａ１」という場合がある。
　次に、図１１Ｂに示すように、矩形認識部４３は、端点Ｐ１～Ｐ４のうちＸ座標値が最も大きい端点（この例ではＰ４）を通り、第１の傾きａ１を有する第１の直線Ｋ１を求める。そして、矩形認識部４３は、第１の直線Ｋ１と、端点Ｐ１～Ｐ４のうちＸ座標値が最も小さい端点（この例ではＰ２）との距離を、第１辺の長さｑ１として算出する。
　次に、矩形認識部４３は、ＸＹ平面内において、第１の傾きａ１を有する直線に対して直交する直線の傾きを第２の傾きａ２として求める。そして、図１１Ｃに示すように、矩形認識部４３は、端点Ｐ１～Ｐ４のうちＹ座標値が最も大きい端点（この例ではＰ３）を通り、第２の傾きａ２を有する第２の直線Ｋ２を求める。そして、矩形認識部４３は、第２の直線Ｋ２と、端点Ｐ１～Ｐ４のうちＹ座標値が最も小さい端点（この例ではＰ２）との距離を、第２辺の長さｑ２として算出する。
　最後に、矩形認識部４３は、前記重心ｇを重心として持ち、傾きが第２の傾きａ２でかつ長さがｑ１である第１辺を持ち、傾きが第１の傾きａ１でかつ長さがｑ２の第２辺を持つ矩形を、目標作物列ペアに近似する矩形として認識する。目標作物列ペアが図１１Ａの場合、この目標作物列ペアに近似する矩形は図１１ＤにＲで示すようになる。
　なお、矩形認識部４３は、前述した方法以外の方法によって、目標作物列ペアに近似する矩形を求めてもよい。目標作物列ペアに近似する矩形を求める方法としては、例えば特開２０１０－１０８１３５号公報の背景技術として記載されている各種の方法や、同公報の実施形態として記載されている各種方法を用いることができる。
　図４に戻り、目標設定部４４は、矩形認識部４３によって認識された矩形に基づいて、選択された作物列ペアを構成する２つの作物列間における作業車両１の目標走行経路および目標方位を設定する。
　具体的には、目標設定部４４は、図１２に示すように、矩形Ｒの左右両辺の間隔を目標作物列ペアの列間隔Ｗとして特定する。また、矩形Ｒの左右両辺の中央を通る直線を目標作物列ペアの中心線ＣＬとして特定する。そして、目標設定部４４は、中心線ＣＬに対して、所定のオフセット量ΔＷだけ一方の作物列（図１２の例では左側の作物列Ｌａ）側にずれた直線を、目標走行経路Ｔとして設定するとともに、目標走行経路Ｔに沿う方向を目標方位として設定する。
　なお、中心線ＣＬに対してオフセット量ΔＷだけずらす方向は、目標作物列ペアによって異なる。例えば図３の第１作物列Ｌ１と第２作物列Ｌ２とが目標作物列ペアである場合には、中心線ＣＬに対してオフセット量ΔＷだけずらす方向は第１作物列Ｌ１側の方向（進行方向に向かって左側方向）となる。一方、図３の第２作物列Ｌ２と第３作物列Ｌ３とが目標作物列ペアである場合には、中心線ＣＬに対してオフセット量ΔＷだけずらす方向は第２作物列Ｌ２側の方向（進行方向に向かって右側方向）となる。
　図４に戻り、偏差算出部４５は、目標走行経路Ｔからのずれ量および目標方位からのずれ量を算出する。偏差算出部４５は、位置偏差算出部４５Ａと、方位偏差算出部４５Ｂとを含む。位置偏差算出部４５Ａは、矩形認識部４３によって認識された矩形Ｒに基づいて、目標作物列ペアを構成する２つの作物列間における作業車両１の現在位置を推定し、現在位置の目標走行経路からのずれ量（位置ずれ量）を算出する。方位偏差算出部４５Ｂは、方位センサ１４によって検出された作業車両１の現在方位の目標方位からのずれ量（方位ずれ量）を算出する。
　具体的には、位置偏差算出部４５Ａは、図１３に示すように、センサ座標系における作業車両１の位置および方位を、目標走行経路ＴをＹ’軸としかつＹ’軸に直交しかつ作業車両１の重心を通る線をＸ’軸とする作物列座標系の位置および方位に変換する。変換後の作業車両１の位置および方位が、目標作物列ペアを構成する２つの作物列間における作業車両１の現在の位置および方位に相当する。
　次に、位置偏差算出部４５Ａは、図１３に示すように、作物列座標系の原点Ｏ’から目標走行経路Ｔに沿って所定距離ｆだけ進行方向に進んだ位置を目標位置Ｑとして設定する。そして、位置偏差算出部４５Ａは、目標位置Ｑと作業車両１の重心位置Ｇとを結ぶ直線と、Ｙ’軸とのなす角ηを、目標走行経路Ｔに対する作業車両１の位置ずれ量（位置ずれ角）として算出する。原点Ｏ’と作業車両１の重心位置Ｇまでの距離をΔｘとすると、位置ずれ量ηは、次式（２）から算出することができる。
　η＝cos－１｛ｆ／（Δｘ２＋ｆ２）１／２｝　　…（２）
　方位偏差算出部４５Ｂは、作業車両１の向き（前後方向）と目標方向（Ｙ’軸）とのなす角δを方位ずれ量として算出する。方位ずれ量δは、作業車両１の重心Ｇを通りかつ作業車両１の前後方向に延びる直線とＹ’軸との交点のＹ’座標値を求めることにより、位置ずれ量ηと同様な方法によって算出することができる。
　図４に戻り、補正部４６は、位置補正部４６Ａと方位補正部４６Ｂとを含む。位置補正部４６Ａは、位置偏差算出部４５Ａによって算出された位置ずれ量ηに基づいて、作物列間における作業車両１の位置を目標走行経路Ｔに近づけるように補正する。方位補正部４６Ｂは、方位偏差算出部４５Ｂによって算出された方位ずれ量δに基づき、作物列間における作業車両１の方位を目標方位に近づけるように補正する。つまり、この実施形態では、補正部４６は、位置ずれ量ηが零に近づくとともに、方位ずれ量δが零に近づくように、クローラ制御機構１５を制御する。
　図１４は、自動走行制御部３２による自動走行制御処理の全体的な手順を示すフローチャートである。
　作業車両１の動作モードとして、サーチモードとランモードとがある。サーチモードとは、作物列間に突入する前に、作物列認識処理を行うことにより、目標走行経路および目標方位の設定等を行うモードをいう。作物列認識処理とは、作物列認識処理部４１、目標作物列ペア抽出部４２、矩形認識部４３、目標設定部４４および偏差算出部４５によって、目標走行経路Ｔおよび目標方位の設定、列間隔Ｗ、目標走行経路Ｔからの位置ずれ量η、目標方位からの方位ずれ量δ等を算出する処理をいう。
　ランモードとは、作物列認識処理を行いながら、位置ずれ量ηおよび方位ずれ量δが零に近づくように作業車両１を走行させるモードをいう。
　自動走行制御を行うに際しては、ユーザは、列間隔Ｗと目標旋回回数Ｎとを作業車両１に設定する。目標旋回回数Ｎとは、自動運転が開始されてから自動運転を停止すべき位置に作業車両１が到達するまでの間に行われると予測される作業車両１の旋回回数である。ユーザによって設定された列間隔Ｗと目標旋回回数Ｎは、メモリ３１に記憶される。また、ユーザは、例えば遠隔操作によって、作業車両１を自動走行の開始位置付近まで移動させる。そして、ユーザは、例えば遠隔操作によって、自動走行制御を開始させる。
　自動走行制御が開始されると、自動走行制御部３２は、動作モードをサーチモードに設定する（ステップＳ１）。そして、自動走行制御部３２は、作業車両１の旋回回数が目標旋回回数Ｎに達したか否かを判別する。
　作業車両１の旋回回数が目標旋回回数Ｎに達していなければ（ステップＳ２：ＮＯ）、自動走行制御部３２は、前述した作物列認識処理を行う（ステップＳ３）。
　次に、自動走行制御部３２は、作物列検出が成功したか否かを判別する（ステップＳ４）。具体的には、自動走行制御部３２は、作物列認識処理によって算出された位置ずれ量ηが所定の第１範囲内でかつ作物列認識処理によって算出された方位ずれ量δが所定の第２範囲内にあるという成否判定条件を満たしていれば、作物列検出が成功したと判別する。一方、作物列認識処理によって、目標作物列ペアが特定されなかった場合や、目標作物列ペアが特定されたとしても成否判定条件を満たしていない場合には、自動走行制御部３２は、作物列検出が失敗したと判別する。
　作物列検出が失敗したと判別された場合には（ステップＳ４:ＮＯ）、自動走行制御部３２は、動作モードがサーチモードであるか否かを判別する（ステップＳ５）。動作モードがサーチモードである場合には（ステップＳ５：ＹＥＳ）、自動走行制御部３２は、作業車両１の位置を変更して、再度、作物列認識処理を行うために、作業車両１を移動させる（ステップＳ６）。
　具体的には、自動走行制御部３２は、ステップＳ３の作物列認識処理において、目標作物列ペアが特定されていなかった場合には、作業車両１を単に所定量だけ後退させるようにしてもよい。一方、ステップＳ３の作物列認識処理において、目標作物列ペアが特定されている場合には、自動走行制御部３２は、当該目標作物列ペアを構成する２つの作物列間の中心位置側に作業車両１を移動させるようにしてもよい。ステップＳ６の処理が終了すると、自動走行制御部３２は、ステップＳ２に戻る。
　ステップＳ５において、動作モードがランモードであると判別された場合には（ステップＳ５：ＮＯ）、自動走行制御部３２は、ステップＳ２に戻る。
　ステップＳ４において、作物列検出が成功したと判別された場合には（ステップＳ４:ＹＥＳ）、自動走行制御部３２は、メモリ３１内の列間隔Ｗを更新する（ステップＳ７）。具体的には、自動走行制御部３２は、メモリ３１に記憶されている列間隔Ｗを、ステップＳ３の作物列認識処理によって取得した列間隔Ｗに書き換える。
　次に、自動走行制御部３２は、動作モードがサーチモードであるか否かを判別する（ステップＳ８）。動作モードがサーチモードである場合には（ステップＳ８：ＹＥＳ）、自動走行制御部３２は、基準方位を設定する（ステップＳ９）。具体的には、自動走行制御部３２は、ステップＳ３で算出した方位ずれ量δおよび方位センサ１４によって現在検出されている作業車両１の方位を用いて、ステップＳ３で設定された目標方位を、方位センサ１４によって検出される方位に換算する。そして、自動走行制御部３２は、換算後の方位を基準方位としてメモリ３１に記憶する。これにより、方位センサ１４によって検出される作業車両１の方位と基準方位との差を、目標方位に対する作業車両１の方位の方位ずれ量として検出できるようになる。
　次に、自動走行制御部３２は、動作モードをランモードに設定する（ステップＳ１０）。そして、自動走行制御部３２は、ステップＳ１１に移行する。ランモードにおいては、自動走行制御部３２の補正部４６は、位置ずれ量ηおよび方位ずれ量δが零に近づくように、クローラ制御機構１５を制御する。
　ステップＳ８において、動作モードがランモードであると判別された場合には（ステップＳ８：ＮＯ）、自動走行制御部３２は、ステップＳ１１に移行する。ステップＳ１１では、自動走行制御部３２は、ステップＳ４の判定結果が所定回数以上連続して作物列検出成功であるか否かを判別する。
　ステップＳ４の判定結果が所定回数以上連続して作物列検出成功である場合には（ステップＳ１１：ＹＥＳ）、自動走行制御部３２は、基準方位を更新する（ステップＳ１２）。具体的には、自動走行制御部３２は、ステップＳ３で設定された方位ずれ量δおよび方位センサ１４によって現在検出されている作業車両１の方位を用いて、ステップＳ３で設定された目標方位を、方位センサ１４によって検出される方位に換算する。そして、自動走行制御部３２は、メモリ３１に記憶されている基準方位を、換算後の方位に書き換える。この後、自動走行制御部３２はステップＳ１３に移行する。
　ステップＳ１１において、ステップＳ４の判定結果が所定回数以上連続して作物列検出成功ではないと判別された場合には（ステップＳ１１：ＮＯ）、自動走行制御部３２は、基準方位を更新することなく、ステップＳ１３に移行する。ステップＳ４の判定結果が所定回数以上連続して作物列検出成功である場合のみ、基準方位を更新しているのは、作物列認識処理がノイズの影響等によって正確に行われなかった場合等に基準方位が更新されるのを抑制するためである。
　ステップＳ１３では、自動走行制御部３２は、作業車両１が作物列間の走行終端（列終端）に到着したか否かを判別する。自動走行制御部３２は、例えば、目標作物列ペア間の走行終端から所定距離だけ手前位置に作業車両１が到達したときに走行距離の測定を開始し、測定された走行距離が前記所定距離に達したときに、作業車両１が作物列間の走行終端に到着したと判別する。自動走行制御部３２は、目標作物列ペア間の走行終端から所定距離だけ手前位置に作業車両１が到達したときに計時を開始し、前記所定距離を作業車両１が走行するのに必要な時間が経過したときに作業車両１が作物列間の走行終端に到着したと判別するようにしてもよい。
　作業車両１が目標作物列ペア間の走行終端に到着していない場合には（ステップＳ１３：ＮＯ）、自動走行制御部３２は、ステップＳ２に戻る。
　ステップＳ１３において、作業車両１が目標作物列ペア間の走行終端に到着したと判別された場合には（ステップＳ１３：ＹＥＳ）、自動走行制御部３２は、次の作物列間の走行始端まで作業車両１を移動させるために、作業車両１を旋回させる（ステップＳ１４）。具体的には、自動走行制御部３２は、クローラ制御機構１５を制御して、作業車両１を所定の旋回方向に約１８０度旋回させる。旋回半径は、メモリ３１に記憶されている列間隔Ｗの１／２に設定される。
　所定の旋回方向は、予め設定された１回目の走行終端での旋回方向と、今回の旋回が何回目の旋回であるかという情報に基づいて決定する。例えば、１回目の終端での旋回方向が右である場合には、今回の旋回が奇数回目であれば旋回方向は右方向となり、今回の旋回が偶数回目であれば旋回方向は左方向となる。一方、１回目の終端での旋回方向が左である場合には、今回の旋回が奇数回目であれば旋回方向は左方向となり、今回の旋回が偶数回目であれば旋回方向は右方向となる。
　ステップＳ１４の処理が終了すると、自動走行制御部３２は、ステップＳ２に戻る。
　ステップＳ２において、作業車両１の旋回回数が目標旋回回数Ｎに達していると判別された場合には（ステップＳ２：ＹＥＳ）、自動走行制御部３２は、自動走行制御を終了させる。
　図１４のフローチャートでは、自動走行制御部３２は、ステップＳ１４の旋回後に、ステップＳ２に戻っているが、ステップＳ１４の旋回後に、ステップＳ１に戻るようにしてもよい。この場合には、ステップＳ１４の旋回後に、動作モードがサーチモードに設定されるので、作業車両は一旦停止される。
　　圃場Ｈによっては、隣り合う作物列Ｌが直線状ではなく途中で屈曲している場合もある。言い換えれば、隣り合う作物列Ｌの傾きが途中で変化している場合がある。このような場合には、作業車両１の目標走行経路の方向（目標方位）を隣り合う作物列Ｌの傾きの変化に応じて変化させる必要がある。前述の実施形態では、自動走行中に作物列認識処理（ステップＳ３参照）によって認識される矩形に基づいて、目標方位（基準方位）を更新しているため、作業車両１の目標方位を作物列の傾きの変化に応じて変化させることができる。この点について、図１５を用いて説明する。
　図１５では、目標作物列ペアを構成する２つの作物列Ｌａ，Ｌｂが、それぞれ長さ方向の中間位置Ｐａ，Ｐｂ付近で右方向に屈曲している。作業車両１は、作物列Ｌａ，Ｌｂ間を図１５の紙面の下側から上側に向かって自動走行するものとする。説明の便宜上、図１５の作物列間の下側の端が走行始点であり、作物列間の上側の端が走行終点であるものとする。
　まず、自動走行制御部３２は、作物列Ｌａ，Ｌｂ間における走行始点から作物列Ｌａ，Ｌｂの屈曲点Ｐａ，Ｐｂまでの部分に対応した第１矩形Ｒ１を認識する。第１矩形Ｒ１の左右両辺の傾き（目標方位）は、作物列Ｌａ，Ｌｂにおける走行始点から作物列Ｌａ，Ｌｂの屈曲点Ｐａ，Ｐｂまでの部分の平均的な傾きに応じた角度となる。したがって、作業車両１は矢印Ｖ１のように走行する。
　作業車両１が作物列Ｌａ，Ｌｂの屈曲点Ｐａ，Ｐｂに近づくと、自動走行制御部３２は、作物列Ｌａ，Ｌｂにおける屈曲点Ｐａ，Ｐｂを長さ方向の中間に含む部分に対応した第２矩形Ｒ２を認識する。第２矩形Ｒ２の左右両辺の傾き（目標方位）は、作物列Ｌａ，Ｌｂにおける屈曲点Ｐａ，Ｐｂを長さ方向の中間に含む部分の平均的な傾きに応じた角度となる。このため、第２矩形Ｒ２の傾きは、第１矩形Ｒ１の傾きに対して、進行方向に向かって右方向に傾いた角度となる。これにより、目標方位（基準方位）が進行方向に向かって右方向側に修正される。したがって、作業車両１は矢印Ｖ２のように走行する。
　作業車両１が作物列Ｌａ，Ｌｂの屈曲点Ｐａ，Ｐｂを通過すると、自動走行制御部３２は、作物列Ｌａ，Ｌｂにおける屈曲点Ｐａ，Ｐｂよりも走行終端側部分に対応した第３矩形Ｒ３を認識する。第３矩形Ｒ３の左右両辺の傾き（目標方位）は、作物列Ｌａ，Ｌｂにおける屈曲点Ｐａ，Ｐｂよりも走行終端側部分の平均的な傾きに応じた角度となる。このため、第３矩形Ｒ３の傾きは、第２矩形Ｒ２の傾きに対して、進行方向に向かってさらに右方向に傾いた角度となる。これにより、目標方位（基準方位）が進行方向に向かって右方向側に修正される。したがって、作業車両１は矢印Ｖ３のように走行する。このように、作業車両１は、作物列Ｌａ，Ｌｂが途中で屈曲している場合でも、作物列Ｌａ，Ｌｂの形状に応じた目標走行経路に沿って走行することになる。
　また、前述の実施形態では、レーザ光を利用した距離センサ１３によって各物体の距離情報が取得され、取得された距離情報に基づいて圃場Ｈの鳥瞰画像が生成される。そして、生成された鳥瞰画像に基づいて、作物列が認識される。したがって、この構成によって生成される鳥瞰画像は、カメラの撮像画像に基づいて生成される圃場の鳥瞰画像に比べて、照明条件や季節等といった圃場の環境の影響を受けにくい。このため、前述の実施形態では、圃場の環境にかかわらず、安定して作物列を認識することが可能となる。
　また、前述の実施形態では、各列候補領域において作物列方向に並ぶ複数の仮想点が作成され、複数の仮想点から作物列に対応する直線が認識される。したがって、列候補領域に雑草等の作物以外の物体の検出点が含まれている場合においても、作物列に対応する直線を認識する際に、このような作物以外の物体の検出点の影響を低減することができる。これにより、作物列を高精度で認識することが可能となる。
　具体的には、図５に示される列候補領域生成部５２および作物列認識部５３では、所定距離以内に位置する２以上の検出点を含む１または複数の列候補領域が生成され、生成された列候補領域に対して作成された複数の仮想点から、当該列候補領域に対応する直線が推定される。したがって、列候補領域に雑草等の作物以外の物体の検出点が含まれている場合においても、当該列候補領域に対応する直線を推定する際に、このような作物以外の物体の検出点の影響を低減することができる。これにより、作物列を高精度で認識することが可能となる。
　以上、この発明の実施形態について説明したが、この発明はさらに他の形態で実施することもできる。例えば、前述の実施形態では、遠隔操作によって作業車両１を自動走行開始位置まで移動させているが、トラック等によって作業車両１を自動走行開始位置まで運搬するようにしてもよい。また、作業車両１を手動運転可能とし、手動運転によって自動走行開始位置まで移動させてもよい。
　また、前述の実施形態では、作業車両が薬剤散布用の作業車両である場合について説明したが、作業車両は薬剤散布用以外の作業車両であってもよい。
　本発明の実施形態について詳細に説明してきたが、これらは本発明の技術的内容を明らかにするために用いられた具体例に過ぎず、本発明はこれらの具体例に限定して解釈されるべきではなく、本発明の範囲は添付の請求の範囲によってのみ限定される。
　この出願は、２０１８年３月１５日に日本国特許庁に提出された特願２０１８－４８４５１号に対応しており、その出願の全開示はここに引用により組み込まれるものとする。
　１　作業車両
　１３　距離センサ
　１４　方位センサ
　３０　制御装置
　３１　メモリ
　３２　自動走行制御部
　４１　作物列認識処理部
　５１　鳥瞰画像生成部
　５２　列候補領域生成部
　５２Ａ　ぼかし処理部
　５２Ｂ　選択部
　５３　作物列認識部
　５３Ａ　直線結合部
　５３Ｂ　直線結合部

Claims (7)

  1. 　作物列が植え付けられた圃場を走行する作業車両であって、
    　前記圃場に存在する複数の物体に向かってレーザ光を照射し、前記物体からの反射光を受光することによって、前記物体各々の距離情報を取得する距離センサと、
    　前記距離情報に基づいて前記物体各々の位置を検出し、検出された前記物体各々の位置を検出点として含む鳥瞰画像を生成する鳥瞰画像生成部と、
    　前記鳥瞰画像に含まれる前記検出点のうち、所定距離以内に位置する２以上の検出点を結合することにより、作物列方向に延びる１または複数の列候補領域を生成する列候補領域生成部と、
    　前記各列候補領域において前記作物列方向に並ぶ複数の仮想点を作成し、前記複数の仮想点から前記作物列に対応する直線を認識する作物列認識部とを含む、作業車両。
  2. 　前記列候補領域生成部は、
    　前記鳥瞰画像に対して、前記検出点の画像を膨張させて近くにある複数の前記検出点を結合させるためのぼかし処理を行って、１または複数の塊画像を生成するぼかし処理部と、
    　前記塊画像のうち、所定の選択条件を満たすものを列候補領域として選択する選択部とを含む、請求項１に記載の作業車両。
  3. 　前記仮想点は、前記列候補領域において、前記作物列方向の両端部に配置される第１仮想点と、前記作物列方向の両端部間に配置される１つの点または前記作物列方向の両端部間に所定間隔で配置される複数の点からなる第２仮想点とを含む、請求項１または２に記載の作業車両。
  4. 　前記列候補領域に配置される前記第１仮想点および前記第２仮想点は、当該列候補領域の近似四角形に基づいて作成される、請求項３に記載の作業車両。
  5. 　前記作物列認識部は、
    　前記列候補領域毎に、当該列候補領域に対して作成された前記複数の仮想点から、当該列候補領域に対応する直線を推定する直線推定部と、
    　前記直線推定部によって推定された前記各列候補領域に対応する直線のうち、所定の結合条件を満たす直線どうしを結合することにより、前記作物列に対応する直線を生成する直線結合部とを含む、請求項１～４のいずれか一項に記載の作業車両。
  6. 　前記作物列認識部は、少なくとも２つの作物列を認識するように構成されており、
    　前記作業車両は、前記２つの作物列の重心間の距離が所定範囲内にある場合、当該２つの作物列を長辺とする矩形を認識する矩形認識部をさらに含む、請求項１～５のいずれか一項に記載の作業車両。
  7. 　圃場内に植え付けられた作物列を認識するための作物列認識プログラムであって、
    　コンピュータを、
    　所定の基準位置から前記圃場に存在する複数の物体各々までの距離情報に基づいて前記物体各々の位置を検出し、検出された前記物体各々の検出点を含む鳥瞰画像を生成する鳥瞰画像生成手段、
    　前記鳥瞰画像に含まれる前記検出点のうち、所定距離以内に位置する２以上の検出点を結合することにより、作物列方向に延びる１または複数の列候補領域を生成する列候補領域生成手段、および
    　前記各列候補領域において前記作物列方向に並ぶ複数の仮想点を作成し、前記複数の仮想点から当該列領域候補に対応する直線を推定し、前記各列候補領域に対応する直線から、前記作物列を認識する作物列認識手段、
    　として機能させるための作物列認識プログラム。
PCT/JP2019/009639 2018-03-15 2019-03-11 作業車両および作物列認識プログラム WO2019176843A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP19768232.1A EP3766322B1 (en) 2018-03-15 2019-03-11 Work vehicle and crop row identification program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-048451 2018-03-15
JP2018048451A JP6735302B2 (ja) 2018-03-15 2018-03-15 作業車両および作物列認識プログラム

Publications (1)

Publication Number Publication Date
WO2019176843A1 true WO2019176843A1 (ja) 2019-09-19

Family

ID=67908263

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009639 WO2019176843A1 (ja) 2018-03-15 2019-03-11 作業車両および作物列認識プログラム

Country Status (3)

Country Link
EP (1) EP3766322B1 (ja)
JP (1) JP6735302B2 (ja)
WO (1) WO2019176843A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395984A (zh) * 2020-11-18 2021-02-23 河南科技大学 一种用于无人驾驶农业机械的苗列导航线检测方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4250044A1 (en) * 2020-11-18 2023-09-27 Kubota Corporation Moving body, control unit, and method for controlling operation of moving body
JPWO2022107588A1 (ja) * 2020-11-18 2022-05-27
EP4250045A1 (en) * 2020-11-18 2023-09-27 Kubota Corporation Moving body, data generating unit, and method for generating data
WO2024004575A1 (ja) * 2022-06-28 2024-01-04 株式会社クボタ 作業車両、および作業車両の制御方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01206904A (ja) * 1988-02-10 1989-08-21 Kubota Ltd 作業車用の操向制御情報検出装置
JP2006101816A (ja) * 2004-10-08 2006-04-20 Univ Of Tokyo 操向制御方法及び装置
JP2010108135A (ja) 2008-10-29 2010-05-13 Toshiba Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2011139644A (ja) * 2010-01-06 2011-07-21 Imasen Electric Ind Co Ltd 移動作業機の自動操縦装置
US8150574B2 (en) 2005-01-04 2012-04-03 Deere & Company Method and system for guiding a vehicle with vision-based adjustment
US8855405B2 (en) 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
JP2018048451A (ja) 2016-09-20 2018-03-29 日立建機株式会社 建設機械

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881219B (zh) * 2012-09-20 2014-11-26 北京林业大学 果树定位地图构建装置及方法
US10698402B2 (en) * 2015-01-21 2020-06-30 Ramot At Tel-Aviv University Ltd. Agricultural robot

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01206904A (ja) * 1988-02-10 1989-08-21 Kubota Ltd 作業車用の操向制御情報検出装置
US8855405B2 (en) 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
JP2006101816A (ja) * 2004-10-08 2006-04-20 Univ Of Tokyo 操向制御方法及び装置
US8150574B2 (en) 2005-01-04 2012-04-03 Deere & Company Method and system for guiding a vehicle with vision-based adjustment
JP2010108135A (ja) 2008-10-29 2010-05-13 Toshiba Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2011139644A (ja) * 2010-01-06 2011-07-21 Imasen Electric Ind Co Ltd 移動作業機の自動操縦装置
JP2018048451A (ja) 2016-09-20 2018-03-29 日立建機株式会社 建設機械

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3766322A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395984A (zh) * 2020-11-18 2021-02-23 河南科技大学 一种用于无人驾驶农业机械的苗列导航线检测方法
CN112395984B (zh) * 2020-11-18 2022-09-16 河南科技大学 一种用于无人驾驶农业机械的苗列导航线检测方法

Also Published As

Publication number Publication date
JP2019154378A (ja) 2019-09-19
EP3766322A4 (en) 2021-12-08
JP6735302B2 (ja) 2020-08-05
EP3766322B1 (en) 2023-05-03
EP3766322A1 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
WO2019176843A1 (ja) 作業車両および作物列認識プログラム
WO2019176844A1 (ja) 作業車両および作物列認識プログラム
ES2759793T3 (es) Vehículo de trabajo
EP3354180B1 (en) Automatic cleaner and controlling method of the same
KR102305333B1 (ko) 주행 보조 방법, 주행 보조 시스템 및 차량
JP6280147B2 (ja) 無人走行作業車
JP5328427B2 (ja) 走行制御装置
JP2016146061A (ja) 走行制御装置
CN111447827A (zh) 自动行进作业机、自动行进割草机、割草机和割草机自动行进系统
JP6243944B2 (ja) 無人走行作業車
JP6562678B2 (ja) 自動走行作業車両
JP2013201958A (ja) 走行制御装置
US10054952B2 (en) Automatic operation vehicle
JP6851589B2 (ja) 作業車
WO2019176842A1 (ja) 作業車両およびずれ量算出プログラム
JP2010172441A (ja) 自走式掃除機
JP7069002B2 (ja) 圃場作業車及び圃場地図データ生成システム
KR20210069816A (ko) 부착형 농작업 경로 인식 장치
JP7153895B2 (ja) 自律移動システム及びコントローラ
JP5692767B1 (ja) 自動走行車両
WO2020262287A1 (ja) 農作業機、自動走行システム、プログラム、プログラムを記録した記録媒体、及び方法
JP2019146505A (ja) 自律走行圃場作業車
JP7070905B2 (ja) 走行車両の走行制御装置
JP2010167055A (ja) 自走式掃除機
JP2020095420A (ja) 車両伴走システムおよび車両伴走方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19768232

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019768232

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019768232

Country of ref document: EP

Effective date: 20201015