WO2023276226A1 - 作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法 - Google Patents

作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法 Download PDF

Info

Publication number
WO2023276226A1
WO2023276226A1 PCT/JP2022/004547 JP2022004547W WO2023276226A1 WO 2023276226 A1 WO2023276226 A1 WO 2023276226A1 JP 2022004547 W JP2022004547 W JP 2022004547W WO 2023276226 A1 WO2023276226 A1 WO 2023276226A1
Authority
WO
WIPO (PCT)
Prior art keywords
crop row
image
agricultural machine
crop
detection system
Prior art date
Application number
PCT/JP2022/004547
Other languages
English (en)
French (fr)
Inventor
隼輔 宮下
透 反甫
充朗 長尾
Original Assignee
株式会社クボタ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クボタ filed Critical 株式会社クボタ
Priority to KR1020237042729A priority Critical patent/KR20240007667A/ko
Priority to EP22832394.5A priority patent/EP4335265A1/en
Priority to JP2023531366A priority patent/JPWO2023276226A1/ja
Publication of WO2023276226A1 publication Critical patent/WO2023276226A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic

Definitions

  • the present disclosure relates to a crop row detection system, an agricultural machine including the crop row detection system, and a crop row detection method.
  • a vision guidance system is being developed that detects rows of crops (rows of crops) or ridges in a field using an imaging device such as a camera, and controls traveling of work vehicles along the detected rows of crops or ridges. .
  • Patent Document 1 discloses a working machine that travels along ridges in cultivated land where crops are planted on ridges formed in rows.
  • Patent Document 1 describes generating a planar projective transformation image after binarizing an original image obtained by photographing a cultivated land obliquely from above with an in-vehicle camera.
  • Patent Document 1 by rotating a planar projectively transformed image, a large number of rotated images with different orientations are generated to detect a working passage between ridges.
  • the accuracy of detection may decrease due to disturbance factors such as sunlight conditions.
  • the present disclosure provides a crop row detection system, an agricultural machine including the crop row detection system, and a crop row detection method that can solve such problems.
  • a crop row detection system in an exemplary, non-limiting embodiment, is mounted on an agricultural machine to capture a ground on which the agricultural machine travels and generate time-series color images including at least a portion of the ground.
  • An imaging device for acquiring and a processing device for performing image processing on the time-series color images are provided.
  • the processing device generates, from the time-series color images, an enhanced image in which the color of the row of crops to be detected is enhanced, and from the enhanced image, a first pixel whose color index value of the row of crops is equal to or greater than a threshold value. , generating a top view image of the ground as seen from above, classified into second pixels whose index values are less than the threshold; determine the position of
  • An agricultural machine in an exemplary, non-limiting embodiment, is an agricultural machine comprising a crop row detection system as described above, comprising a travel gear including steering wheels and a crop row determined by said crop row detection system. and an automatic steering device for controlling the steering angle of the steered wheels based on the position of the edge line of the row.
  • a crop row detection method in an exemplary, non-limiting embodiment, is a computer-implemented crop row detection method in which from an imaging device attached to an agricultural machine, obtaining a time-series color image including at least part of the ground, from the time-series color image, generating an enhanced image that emphasizes the color of the crop row to be detected, from the enhanced image Generating a top-view image of the ground as seen from above, in which first pixels having a color index value of the crop row greater than or equal to a threshold value and second pixels having a color index value less than the threshold value are classified; A computer is caused to determine a position of an edge line of the crop row based on the index value of the first pixel.
  • a generic or specific aspect of the present disclosure can be realized by an apparatus, system, method, integrated circuit, computer program, or computer-readable non-transitory storage medium, or any combination thereof.
  • a computer-readable storage medium may include both volatile and non-volatile storage media.
  • a device may consist of a plurality of devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be divided and arranged in two or more separate devices. .
  • FIG. 2 is a diagram schematically showing how an imaging device attached to an agricultural machine captures an image of the ground
  • FIG. 4 is a perspective view schematically showing the relationship between a body coordinate system ⁇ b and a camera coordinate system ⁇ c fixed with respect to agricultural machinery, and a world coordinate system ⁇ w fixed with respect to the ground.
  • FIG. 2 is a top view schematically showing a portion of a field in which a plurality of rows of crops are provided on the ground
  • 4 is a diagram schematically showing an example of an image acquired by the imaging device of the agricultural machine shown in FIG. 3;
  • FIG. 4 is a top view schematically showing a state in which the position and orientation (angle in the yaw direction) of the agricultural machine are adjusted; 6 is a diagram showing an example of an image acquired by the imaging device of the agricultural machine in the state of FIG. 5;
  • FIG. 1 is a block diagram showing a basic configuration example of a crop row detection system according to an embodiment of the present disclosure;
  • FIG. 1 is a block diagram schematically showing a configuration example of a processing device according to an embodiment of the present disclosure;
  • FIG. It is a monochrome image corresponding to an image of one frame in time-series color images acquired by an on-vehicle camera mounted on a tractor.
  • FIG. 11 is a histogram of the green excess index (ExG) in the image of FIG. 10;
  • FIG. 4 is a diagram showing an example of a top-view image (bird's-eye view image) classified into first pixels (for example, crop pixels) and second pixels (background pixels);
  • FIG. 3 is a perspective view schematically showing the positional relationship between each of the camera coordinate system ⁇ c1 and the camera coordinate system ⁇ c2 and the reference plane Re.
  • FIG. 5 is a schematic diagram showing an example in which the direction of the rows of crops and the direction of the scanning lines in the top view image are parallel; 15 is a diagram schematically showing an example of an integrated value histogram obtained for the top view image of FIG. 14; FIG. FIG. 5 is a schematic diagram showing an example in which the direction of the row of crops and the direction of the scanning line in the top view image intersect; FIG. 17 is a diagram schematically showing an example of an integrated value histogram obtained for the top view image of FIG. 16; 4 is a flow chart illustrating an example algorithm for determining crop row edge lines by a processing device in an embodiment of the present disclosure; FIG. 13 is a diagram showing an integrated value histogram obtained from the top view image of FIG.
  • FIG. 12; 4 is a block diagram showing processing executed by a processing device according to an embodiment of the present disclosure
  • FIG. FIG. 10 is a diagram for explaining how a top view image is divided into a plurality of blocks
  • FIG. 22 is a diagram schematically showing the relationship between the position of a scanning line and the integrated value of index values in each block in FIG. 21
  • FIG. 23 is a diagram showing an example of a crop row center in each block in FIG. 22 and an approximate line for the crop row center
  • FIG. 24 is a top view showing an example of edge lines of crop rows determined based on the approximation lines of FIG.
  • FIG. 26 is a diagram schematically showing the relationship between the position of a scanning line and the integrated value (histogram) of index values in each block in FIG. 25;
  • FIG. 27 is a diagram showing an example of a crop row center in each block in FIG. 26 and an approximate line for the crop row center;
  • FIG. 28 is a top view showing an example of edge lines of crop rows determined based on the approximate curve of FIG. 27;
  • 1 is a perspective view showing an example of an appearance of an agricultural machine according to an embodiment of the present disclosure;
  • FIG. FIG. 2 is a side view schematically showing an example of an agricultural machine with a work implement attached; It is a block diagram showing an example of a schematic structure of an agricultural machine and a working machine.
  • Agricultural machinery in the present disclosure broadly includes machines that perform basic agricultural work such as “plowing”, “planting”, and “harvesting” in fields.
  • Agricultural machines are machines having functions and structures for performing agricultural work such as tillage, sowing, pest control, fertilization, planting of crops, or harvesting on the ground in a field. These agricultural operations are sometimes referred to as “ground operations” or simply “operations.”
  • the agricultural machine does not need to be equipped with a travel device for moving itself, and may travel by being attached to or towed by another vehicle equipped with a travel device.
  • a work vehicle such as a tractor functions alone as an "agricultural machine”
  • the work machine (implement) attached to or towed by the work vehicle and the work vehicle as a whole can be regarded as one "agricultural machine”. It may work.
  • Examples of agricultural machinery include tractors, riding machines, vegetable transplanters, mowers, and field mobile robots.
  • the crop row detection system in this embodiment includes an imaging device attached to an agricultural machine.
  • the imaging device is fixed to the agricultural machine so as to photograph the ground on which the agricultural machine travels and acquire time-series color images including at least a portion of the ground.
  • FIG. 1 schematically shows how an imaging device 120 attached to an agricultural machine 100 such as a tractor or a riding management machine captures an image of the ground 10 .
  • the agricultural machine 100 includes a vehicle body 110 that can travel, and an imaging device 120 is fixed to the vehicle body 110 .
  • FIG. 1 shows a body coordinate system ⁇ b having mutually orthogonal Xb-, Yb-, and Zb-axes.
  • the body coordinate system ⁇ b is a coordinate system fixed to the agricultural machine 100, and the origin of the body coordinate system ⁇ b can be set near the center of gravity of the agricultural machine 100, for example. In the drawing, for ease of viewing, the origin of the body coordinate system ⁇ b is shown as being positioned outside the agricultural machine 100 .
  • the Xb axis coincides with the traveling direction (the direction of arrow F) when the agricultural machine 100 travels straight.
  • the Yb axis coincides with the rightward direction when the positive direction of the Xb axis is viewed from the coordinate origin, and the Zb axis coincides with the vertically downward direction.
  • the imaging device 120 is, for example, an in-vehicle camera having a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the imaging device 120 in this embodiment is, for example, a monocular camera capable of capturing moving images at a frame rate of 3 frames per second (fps) or higher.
  • FIG. 2 is a perspective view schematically showing the relationship between the body coordinate system ⁇ b, the camera coordinate system ⁇ c of the imaging device 120, and the world coordinate system ⁇ w fixed to the ground 10 described above.
  • the camera coordinate system ⁇ c has mutually orthogonal Xc, Yc, and Zc axes
  • the world coordinate system ⁇ w has mutually orthogonal Xw, Yw, and Zw axes.
  • the Xw-axis and Yw-axis of the world coordinate system ⁇ w are on the reference plane Re extending along the ground 10 .
  • the imaging device 120 is attached to a predetermined position of the agricultural machine 100 so as to face a predetermined direction. Therefore, the position and orientation of the camera coordinate system ⁇ c with respect to the body coordinate system ⁇ b are fixed in a known state.
  • the Zc axis of the camera coordinate system ⁇ c is on the camera optical axis ⁇ 1.
  • the camera optical axis ⁇ 1 is inclined from the traveling direction F of the agricultural machine 100 toward the ground 10, and the depression angle ⁇ is greater than 0°.
  • a travel direction F of the agricultural machine 100 is generally parallel to the ground 10 on which the agricultural machine 100 travels.
  • the depression angle ⁇ can be set, for example, within a range of 0° or more and 60° or less. When the position where the imaging device 120 is attached is close to the ground 10, the angle of depression ⁇ may be set to a negative value, in other words, the orientation of the camera optical axis ⁇ 1 may be set to have a positive elevation angle.
  • the body coordinate system ⁇ b and the camera coordinate system ⁇ c translate with respect to the world coordinate system ⁇ w.
  • the body coordinate system ⁇ b and the camera coordinate system ⁇ c may rotate with respect to the world coordinate system ⁇ w.
  • the agricultural machine 100 does not rotate in the pitch and roll directions and moves substantially parallel to the ground 10 .
  • FIG. 3 is a top view schematically showing a portion of a field in which a plurality of rows of crops 12 are provided on the ground 10.
  • the crop row 12 is a row formed by continuously planting crops in one direction on the ground 10 of a field.
  • a crop row 12 is a collection of crops planted on a ridge of a field.
  • the shape of the crop row is complicated depending on the shape of the crops and the arrangement of the crops. be.
  • the width of the crop row 12 varies as the crop grows.
  • Each intermediate region 14 is a region sandwiched between two opposing edge lines E between two adjacent crop rows 12 .
  • a plurality of rows of crops 12 are formed on one ridge. That is, a plurality of crop rows 12 are formed between rows of ridges.
  • the edge line E of the row of crops 12 positioned at the edge in the width direction of the ridge serves as the reference for the intermediate region 14 . That is, the intermediate region 14 is located between the edge lines E of the row of crops 12 positioned at the edge in the width direction of the ridge among the edge lines E of the row of crops 12 .
  • the intermediate area 14 functions as an area (work passage) through which the wheels of the agricultural machine 100 pass, the "intermediate area” may be referred to as a "work passage”.
  • the "edge line" of the crop row means a reference line segment (which may include curved lines) for defining the target route when the agricultural machine travels.
  • Such reference line segments can be defined as the ends of a strip-shaped area (working path) through which the wheels of the agricultural machine are allowed to pass.
  • FIG. 3 schematically shows one agricultural machine 100 that is entering a field in which a row of crops 12 is provided.
  • This agricultural machine 100 includes left and right front wheels 104F and left and right rear wheels 104R as traveling devices, and pulls a working machine (implement) 300 .
  • the front wheels 104F are steering wheels.
  • the work passages 14 located on both sides of the one row of crops 12 located in the center are marked with thick dashed arrows L and R, respectively.
  • the front wheels 104F and the rear wheels 104R of the agricultural machine 100 move along the arrows L and R in the working path 14 so as not to step on the crop row 12. required to move along
  • the front wheels 104F and the rear wheels 104R move along the arrows L and R in the work passage 14. It is possible to control the steering/running of the agricultural machine 100 so as to do so. Controlling the steering and running of the agricultural machine 100 based on the edge line E of the row of crops in this way may also be called "row following travel control".
  • FIG. 4 is a diagram schematically showing an example of an image 40 acquired by the imaging device 120 of the agricultural machine 100 shown in FIG.
  • a plurality of rows of crops 12 running parallel on the ground 10 and an intermediate area (working path) 14 theoretically meet at a vanishing point P 0 on the horizon 11 .
  • the reason why the vanishing point P0 is located on the right side of the image 40 is that the running direction F of the agricultural machine 100 is in the direction in which the row of crops 12 extends (the direction parallel to the arrow C), as shown in FIG. This is because it is inclined with respect to
  • the crop row 12 can be accurately detected from such an image 40 and the edge line E of the crop row 12 can be determined by the method described later. be possible. Then, based on the edge line E, a route (target route) along which the agricultural machine 100 should travel can be appropriately generated.
  • automatic steering is used to control the running of the agricultural machine 100 so that the front wheels 104F and the rear wheels 104R of the agricultural machine 100 move along the arrows L and R in the work path 14 (line following running control). becomes possible.
  • a positioning system such as GNSS.
  • FIG. 5 is a top view schematically showing a state in which the position and orientation (angle in the yaw direction) of the agricultural machine 100 are adjusted by steering the agricultural machine 100 so as to reduce the positional error with respect to the target path (arrow C).
  • FIG. 6 is a diagram showing an example of an image 40 acquired by the imaging device 120 of the agricultural machine 100 in such a state.
  • the front wheels 104F and the rear wheels 104R of the agricultural machine 100 in the state of FIG. 5 are positioned on the lines indicated by the arrows L and R in the work passage 14, respectively.
  • the automatic steering device in the agricultural machine 100 controls the front wheels 104F and the rear wheels 104R so as not to deviate from the working path 14. to control the steering angle of the
  • a crop row detection system 1000 includes, as shown in FIG.
  • the processor 122 may be connected, for example, to an autopilot 124 included in the agricultural machine 100 .
  • the automatic steering device 124 is included in, for example, an automatic driving device that controls travel of the agricultural machine 100 .
  • the processing device 122 can be realized by an electronic control unit (ECU) for image recognition.
  • the ECU is an in-vehicle computer.
  • the processing device 122 is connected to the imaging device 120 by a serial signal line such as a wire harness so as to receive image data output by the imaging device 120 .
  • a part of the image recognition processing executed by the processing device 122 may be executed inside the imaging device 120 (inside the camera module).
  • FIG. 8 is a block diagram showing a hardware configuration example of the processing device 122.
  • the processing device 122 includes a processor 20 , a ROM (Read Only Memory) 22 , a RAM (Random Access Memory) 24 , a communication device 26 and a storage device 28 . These components are interconnected via bus 30 .
  • the processor 20 is a semiconductor integrated circuit and is also called a central processing unit (CPU) or a microprocessor.
  • Processor 20 may include an image processing unit (GPU).
  • the processor 20 sequentially executes a computer program describing a predetermined group of instructions stored in the ROM 22, and implements processing necessary for crop row detection according to the present disclosure.
  • a part or all of the processor 20 may be an FPGA (Field Programmable Gate Array) equipped with a CPU, an ASIC (Application Specific Integrated Circuit), or an ASSP (Application Specific Standard Product).
  • the communication device 26 is an interface for data communication between the processing device 122 and an external computer.
  • the communication device 26 can perform wired communication such as CAN (Controller Area Network), or wireless communication conforming to the Bluetooth (registered trademark) standard and/or the Wi-Fi (registered trademark) standard.
  • the storage device 28 can store images acquired from the imaging device 120 or image data in the middle of processing.
  • Examples of storage device 28 include a hard disk drive or non-volatile semiconductor memory.
  • the hardware configuration of the processing device 122 is not limited to the above example. Some or all of processing device 122 need not be installed on agricultural machine 100 . By using the communication device 26, one or more computers located outside the agricultural machine 100 can function as part or all of the processing device 122. FIG. For example, a networked server computer may function as part or all of processing unit 122 . On the other hand, a computer mounted on agricultural machine 100 may perform all functions required of processing device 122 .
  • such a processing device 122 acquires time-series color images from the imaging device 120 and performs operations S1, S2, and S3 described below.
  • S1 Generate an enhanced image in which the color of the row of crops to be detected is enhanced from the time-series color images.
  • S2 Generating a top view image of the ground viewed from above, in which the first pixels having the index value of the color of the row of crops equal to or larger than the threshold value and the second pixels having the index value smaller than the threshold value are classified from the enhanced image. do.
  • S3 determining the position of the edge line of the crop row based on the index value of the first pixel;
  • a time-series color image is a collection of images acquired by the imaging device 120 in a time-series manner. Each image is composed of a group of pixels in frame units. For example, if the imaging device 120 outputs images at a frame rate of 30 frames/second, the processing device 122 may acquire new images at intervals of approximately 33 milliseconds.
  • the speed at which the agricultural machine 100 such as a tractor travels in a field is relatively low compared to the speed of general automobiles traveling on public roads, and can be, for example, about 10 kilometers per hour or less. At 10 kilometers per hour, the distance traveled in about 33 milliseconds is about 6 centimeters.
  • the processing device 122 may acquire images at intervals of, for example, 100 to 300 milliseconds, and does not need to process all frame images captured by the imaging device 120 .
  • the acquisition cycle of images to be processed by the processing device 122 may be automatically changed by the processing device 122 according to the travel speed of the agricultural machine 100 .
  • FIG. 9 is an image corresponding to one frame of image 40 in time-series color images acquired by an imaging device (a monocular camera in this example) mounted on agricultural machinery.
  • the image in FIG. 9 shows rows of crops (rows of crops) planted in rows on the ground of a field.
  • rows of crops are arranged substantially parallel and evenly spaced on the ground, and the camera optical axis of the imaging device faces the direction of travel of the agricultural machine.
  • the camera optical axis need not be parallel to the traveling direction of the agricultural machine, and may be incident on the ground ahead of the traveling direction of the agricultural machine.
  • the mounting position of the imaging device is not limited to this example. When a plurality of imaging devices are attached to the agricultural machine, some of the imaging devices may face the camera optical axis in the direction opposite to the direction of travel or in the direction crossing the direction of travel.
  • the processing device 122 in FIG. 7 generates an image (enhanced image) in which the color of the crop row to be detected is enhanced, based on the time-series color images acquired from the imaging device 120 .
  • Crops have chlorophyll (chlorophyll) in order to receive sunlight (white light) and perform photosynthesis. Chlorophyll absorbs less green light than red and blue light. Therefore, the spectrum of sunlight reflected by crops exhibits relatively high values in the green wavelength range compared to the spectrum of sunlight reflected by the soil surface. As a result, crop color generally has a high green component and the "crop row color” is typically green. However, as will be described later, the "crop row color” is not limited to green.
  • the image sensor in the imaging device 120 has a large number of photodetection cells arranged in rows and columns.
  • Each photodetector cell corresponds to a picture element (pixel) that constitutes an image, and includes an R sub-pixel that detects the intensity of red light, a G sub-pixel that detects the intensity of green light, and an intensity of blue light. , including B sub-pixels for detecting .
  • the output of light detected by the R sub-pixel, G sub-pixel, and B sub-pixel in each photodetector cell will be called the R value, G value, and B value, respectively.
  • the R value, G value, and B value may be collectively referred to as "pixel value" or "RGB value”.
  • RGB value RGB value
  • the enhanced image in which the color of the row of crops is emphasized means that the RGB value of each pixel in the color image acquired by the imaging device is set to a relatively large weight of the G value.
  • This is an image converted into pixel values.
  • Such conversion of pixel values for generating an enhanced image is defined, for example, as "(2 ⁇ G value ⁇ R value ⁇ B value)/(R value+G value+B value)".
  • the denominator (R value+G value+B value) is a factor for normalization.
  • rgb R value / (R value + G value + B value)
  • g G value / (R value + G value + B value)
  • b B value / (R value + G value + B value).
  • ExG Excess Green Index
  • FIG. 10 is a diagram showing an enhanced image 42 obtained by converting the RGB values in the image of FIG. 9 into "2 ⁇ grb".
  • FIG. 10 pixels in which "r+b” is relatively small compared to g are displayed brightly, and pixels in which "r+b” is relatively large compared to g are displayed darkly.
  • an image (enhanced image) 42 in which the color (in this example, "green") of the crop rows to be detected is enhanced is obtained.
  • the brighter pixels in the image of FIG. 10 are pixels with a relatively large green component and belong to crop regions.
  • indices such as the green-red vegetation index (G value - R value) / (G value + R value) are used as the "color index value” that emphasizes the color of the crop.
  • the imaging device can also function as an infrared camera, NDVI (Normalized Difference Vegetation Index) may be used as the "index value of the color of the crop row”.
  • each row of crop rows may be covered with a mulching sheet called "mulch".
  • the "color of the crop row” is "the color of the objects arranged in a row over the crop”. Specifically, when the color of the sheet is black, which is an achromatic color, the "crop row color” means “black.” Also, if the color of the sheet is red, the “color of the crop row” means “red”. Thus, the "color of the crop row” means not only the color of the crop itself but also the color of the area defining the crop row (a color distinguishable from the color of the soil surface).
  • the HSV color space is a color space composed of three components of hue (Hue), saturation (Saturation), and lightness (Value).
  • hue Hue
  • saturation saturation
  • Value lightness
  • the processing unit 122 In operation S2, the processing unit 122 generates a top view image classified from the enhanced image 42 into first pixels having a crop row color index value equal to or greater than a threshold and second pixels having an index value less than the threshold. do.
  • a top view image is an image viewed from above the ground.
  • FIG. 11 is a histogram of the green excess index (ExG) in the enhanced image 42 of FIG. The horizontal axis of the histogram is the green excess index (ExG), and the vertical axis is the number of pixels in the image (corresponding to frequency of occurrence).
  • FIG. 11 shows a dashed line indicating the threshold Th calculated by the discriminant analysis algorithm. Pixels of the enhanced image 42 are classified into two classes by this threshold Th.
  • the occurrence frequency of pixels whose green excess index (ExG) is equal to or greater than the threshold is shown, and these pixels are estimated to belong to the crop class.
  • the occurrence frequency of pixels whose green excess index (ExG) is less than the threshold is shown, and these pixels are considered to belong to the crop class such as soil. Presumed.
  • the first pixel which is the pixel whose index value is greater than or equal to the threshold value, corresponds to the "crop pixel”.
  • the second pixels whose index values are less than the threshold correspond to "background pixels".
  • the background pixels correspond to objects other than the object to be detected, such as the surface of the soil, and the aforementioned intermediate region (working passage) 14 may be constituted by the background pixels.
  • the threshold determination method is not limited to the above example, and the threshold may be determined using, for example, another method using machine learning.
  • the detection target area can be extracted from the enhanced image 42. Further, by giving "zero” to the pixel value of the "second pixel” or removing the data of the second pixel from the image data, it is possible to mask the area other than the detection target. When determining the area to be masked, processing may be performed to include pixels locally showing a high value of the green excess index (ExG) as noise in the mask area.
  • ExG green excess index
  • FIG. 12 is a diagram showing an example of a top view image 44 seen from above the ground, classified into first pixels and second pixels.
  • a top-view image 44 in FIG. 12 is an image created from the enhanced image 42 in FIG. 10 by an image conversion technique, which will be described later.
  • the second pixels whose crop row color index value (in this example, the green excess index) is less than the threshold Th are black pixels (pixels whose lightness is set to zero).
  • the area formed by the second pixels is mainly the area where the surface of the soil on the ground can be seen.
  • black triangular areas exist at the left and right corners that are in contact with the lower side. This triangular area corresponds to the area that was not shown in the enhanced image 42 of FIG.
  • Preprocessing may include processing other than such processing.
  • a top-view image 44 in FIG. 12 is a bird's-eye view image of the reference plane Re parallel to the ground viewed from directly above in the normal direction of the reference plane Re.
  • This bird's-eye view image can be generated from the enhanced image 42 of FIG. 10 by homography transformation (planar projective transformation).
  • a homographic transformation is a type of geometric transformation that can transform a point on one plane in three-dimensional space to a point on any other plane.
  • FIG. 13 shows the positional relationship between the camera coordinate system ⁇ c1 of the imaging device in the first orientation (position and orientation: pose) and the camera coordinate system ⁇ c2 of the imaging device in the second orientation, and the reference plane Re.
  • the camera coordinate system ⁇ c1 is tilted so that its Zc axis obliquely intersects the reference plane Re.
  • the imaging device in the first posture corresponds to the imaging device attached to the agricultural machine.
  • the Zc axis of the camera coordinate system ⁇ c2 is orthogonal to the reference plane Re.
  • the camera coordinate system ⁇ c2 is arranged such that the reference plane Re can be obtained as a bird's-eye view image viewed from directly above in the normal direction of the reference plane Re.
  • a virtual image plane Im1 exists at a position separated by the focal length of the camera on the Zc axis from the origin O1 of the camera coordinate system ⁇ c1.
  • the image plane Im1 is orthogonal to the Zc axis and the camera optical axis ⁇ 1.
  • a pixel position on the image plane Im1 is defined by an image coordinate system having mutually orthogonal u and v axes.
  • the coordinates of points P1 and P2 located on the reference plane Re are (X1, Y1, Z1) and (X2, Y2, Z2), respectively, in the world coordinate system ⁇ w.
  • the reference plane Re is set so as to extend along the ground.
  • Points P1 and P2 on the reference plane Re are transformed into points p1 and p2 on the image plane Im1 of the imaging device in the first posture, respectively, by perspective projection of the pinhole camera model.
  • points p1 and p2 are located at pixel locations indicated by coordinates (u1, v1) and (u2, v2), respectively.
  • a virtual image plane Im2 exists at a position separated by the focal length of the camera on the Zc axis from the origin O2 of the camera coordinate system ⁇ c2.
  • the image plane Im2 is parallel to the reference plane Re.
  • a pixel position on the image plane Im2 is defined by an image coordinate system having mutually orthogonal u * and v * axes.
  • Points P1 and P2 on the reference plane Re are transformed into points p1 * and p2 * , respectively, on the image plane Im2 by perspective projection.
  • points p1 * and p2 * are located at pixel locations indicated by coordinates (u1 * , v1 * ) and (u2 * , v2 * ), respectively.
  • homography Given the positional relationship of the camera coordinate systems ⁇ c1 and ⁇ c2 with respect to the reference plane Re (world coordinate system ⁇ w), homography transforms any point (u, v) on the image plane Im1 to correspond on the image plane Im2. We can find the point (u * , v * ) where Such a homography transformation is defined by a transformation matrix H of 3 rows ⁇ 3 columns when coordinates of points are expressed in a homogeneous coordinate system.
  • the contents of the transformation matrix H are defined by the numerical values of h 11 , h 12 , . . . , h 32 as shown below.
  • the contents of the transformation matrices H1 and H2 depend on the reference plane Re, so when the position of the reference plane Re changes, the contents of the transformation matrix H also change.
  • the homography transformation By using such a homography transformation, it is possible to generate a top view image of the ground from the image of the ground acquired by the imaging device in the first posture (the imaging device attached to the agricultural machine).
  • the coordinates of an arbitrary point on the image plane Im1 of the imaging device 120 are converted to the image plane Im2 of a virtual imaging device in a predetermined orientation with respect to the reference plane Re. Can be converted to point coordinates.
  • the processing device 122 executes a software program based on the above algorithm to obtain a view of the ground 10 from above from the time-series color images or the preprocessed images of the time-series color images. generates a bird's-eye view image.
  • the ground 10 may have irregularities such as ridges, ridges, and grooves. In such cases, the reference plane Re may be displaced upwards from the bottom of such irregularities. The displacement distance can be appropriately set according to the unevenness of the ground 10 on which the crops are planted.
  • the posture of the image pickup device 120 changes, so the content of the transformation matrix H1 changes. can.
  • the rotation angles of roll and pitch of the vehicle body 110 are measured by the IMU, the transformation matrix H1 and the transformation matrix H can be corrected according to the posture change of the imaging device.
  • the processing device 122 in this embodiment classifies the first pixels having the index value of the color of the row of crops above the threshold value and the second pixels having the index value less than the threshold value from above the ground by the above-described method. After generating the seen top view image, operation S3 is performed.
  • the processing unit 122 determines the position of the edge line of the crop row based on the index value of the first pixel. Specifically, the index values of the first pixels (pixels whose color index value is equal to or greater than a threshold value) are integrated along a plurality of scanning lines in the top view image.
  • FIG. 14 is an example of a top view image 44 in which three crop rows 12 are shown.
  • the crop row 12 direction is parallel to the image vertical direction (v-axis direction).
  • FIG. 14 shows a large number of scanning lines (broken lines) S parallel to the image vertical direction (v-axis direction).
  • the processing device 122 integrates index values of pixels positioned on a plurality of scanning lines S for each scanning line S to obtain an integrated value.
  • FIG. 15 is a diagram schematically showing the relationship (histogram of integrated values) between the positions of the scanning lines S and the integrated values of the index values obtained for the top view image of FIG.
  • the horizontal axis of FIG. 15 indicates the position of the scanning line S in the image horizontal direction (u-axis direction).
  • the integrated value of the scanning line S is large.
  • the second pixels (background pixels) belonging to the intermediate area (work path) 14 between the crop rows 12 the integrated value for that scan line S will be small. Note that in this embodiment the intermediate region (working path) 14 is masked and the index value for the second pixel is zero.
  • the position of the edge line of each crop row 12 is the position of the scanning line S having a value that is 80% of the peak integrated value of each crop row 12 .
  • the index values of the color of the crop row on each scanning line S are integrated. That is, the number of first pixels (the number of pixels) is not counted for the binarized top view image based on the classification of the first pixels and the second pixels.
  • the count value of the first pixel is increases.
  • accumulating the index value of the color of the crop row of the first pixels instead of the number of the first pixels suppresses erroneous determination due to fallen leaves and weeds. , to improve the robustness of crop row detection.
  • FIG. 16 is an example of a top view image 44 in which the crop row 12 extends obliquely.
  • the direction in which crop row 12 extends in image 40 acquired by imaging device 120 may be slanted to the right or left in the image.
  • the direction of the crop row 12 is inclined from the image vertical direction (v-axis direction) as in the example of FIG.
  • FIG. 16 also shows a large number of scanning lines (broken lines) S parallel to the image vertical direction (v-axis direction).
  • the processor 122 integrates the index values of the pixels located on the plurality of scanning lines S for each scanning line S to obtain an integrated value
  • a histogram of integrated values as shown in FIG. 17 is obtained.
  • FIG. 17 is a diagram schematically showing the relationship between the position of the scanning line S and the integrated value of the index values obtained for the top view image of FIG. From this histogram the edge lines of the crop row 12 cannot be determined.
  • FIG. 18 is a flowchart showing an example of a procedure for searching for the direction (angle) of the scanning line S parallel to the direction of the crop row 12 by changing the direction (angle) of the scanning line S.
  • step S10 the direction (angle) of the scanning line S is set.
  • the clockwise angle is ⁇ with respect to the u-axis in the image coordinate system (see FIGS. 14 and 16).
  • the search for the angle ⁇ can be set to a range of, for example, 60 to 120 degrees and an angle step of, for example, 1 degree.
  • the angle ⁇ of the scanning line S is given as 60, 61, 62, .
  • step S12 index values are integrated for pixels on the scanning line S extending in the direction of each angle ⁇ , and a histogram of integrated values is created. The histogram will show different distributions depending on the angle ⁇ .
  • step S14 from the plurality of histograms obtained in this way, a histogram is selected in which the boundaries of the unevenness are steep and the crop row 12 is clearly separated from the intermediate region 14 as shown in FIG. Find the angle ⁇ of the scan line S that produces .
  • step S16 the edge line of each crop row 12 is determined from the peak value of the histogram corresponding to the angle ⁇ obtained in step S14.
  • the position of the scan line S having an integrated value of, for example, 0.8 times the peak can be taken as the edge line.
  • a histogram of integrated values of the angle ⁇ on the scanning line S may be created.
  • a characteristic quantity for example, depth of recess/height of convex portion, envelope differential value, etc. is calculated from the waveform of the histogram, and the direction of the crop row 12 and the direction of the scanning line S are determined based on the characteristic quantity. are parallel or not.
  • the method for obtaining the angle ⁇ is not limited to the above example. If the direction in which the crop row extends is known by measurement, the orientation of the agricultural machine may be measured by an inertial measurement unit (IMU) mounted on the agricultural machine 100 to determine the angle ⁇ with respect to the direction in which the crop row extends.
  • IMU inertial measurement unit
  • FIG. 19 is a diagram showing an example of an integrated value histogram created from the top view image of FIG.
  • the position of the edge line E is the position of the scanning line that is 0.8 times the peak value of the convex portion of the histogram located in the center.
  • the peak of the convex portion becomes lower and the peak of the convex portion spreads.
  • the distortion of the image is small at the center of the top view image, whereas the distortion of the image increases as it moves away from the center to the left and right. This is due to the fact that the black triangular areas located on both sides lower the integrated value.
  • the crop row that should be accurately detected is the center or periphery of the image. Therefore, distortion in regions near the left and right ends of the top view image can be ignored.
  • FIG. 20 is a block diagram showing a series of processes executed by the processing device 122 in this embodiment.
  • the processor 122 performs image acquisition 32, enhanced image generation 33, crop row extraction 34, and homography transformation 35 to generate a top view image 44, such as that shown in FIG. Obtainable.
  • Processing unit 122 may also perform scanline orientation determination 36 and edgeline location determination 37 to obtain the location of the edgelines of the crop row.
  • the processing device 122 or the path generation device that obtains the information indicating the position of the edge line from the processing device 122 can perform the target path generation 38 of the agricultural machine based on the edge line.
  • the target path can be generated in such a way that the wheels of the agricultural machine are kept in the intermediate area (workpath) 14 between the edge lines E.
  • the target path can be generated so that the central portion of the tire in the width direction passes through the middle of two edge lines positioned at both ends of the intermediate region (working passage) 14 . According to such a target route, even if the agricultural machine deviates from the target route by several centimeters during travel, it is possible to reduce the possibility that the tires will enter the crop row.
  • the embodiments of the present disclosure it is possible to suppress the effects of weather conditions such as front light, backlight, fine weather, cloudy weather, and fog, and sunlight conditions that change depending on the working hours, and to detect crop rows with high accuracy. It was confirmed.
  • the crop type cabbage, broccoli, radish, carrot, lettuce, Chinese cabbage, etc.
  • growth state from seedling to mature state
  • presence of disease presence of fallen leaves/weeds
  • robustness even when soil color changes
  • the homography transformation is performed after the step of obtaining the threshold value for binarization and extracting the crop area using pixels equal to or higher than the threshold value.
  • the step of extracting crop regions may be performed after the homography transformation.
  • homography transformation 35 may be performed between enhanced image generation 33 and crop row extraction 34, or between image acquisition 32 and enhanced image generation 33. may be performed between
  • FIG. 21 is a diagram for explaining a method of dividing part or all of the top view image into a plurality of blocks and determining the position of the edge line for each of the plurality of blocks.
  • the processing device 122 divides part or all of the top view image 44 into a plurality of blocks. Then, the position of the edge line E of the crop row 12 is determined for each of the plurality of blocks. In the illustrated example, three blocks B1, B2, and B3 have a belt shape continuous in the horizontal direction of the image in the top view image. The processing device 122 can determine the edge line of the crop row based on the band shape in a direction different from the traveling direction of the agricultural machine 100 .
  • FIG. 22 is a diagram schematically showing the relationship (integrated value histogram) between the position of the scanning line S and the integrated value of the index values in each of the blocks B1, B2, and B3 of the top view image in FIG.
  • the scanning line S when performing integration is always parallel to the image vertical direction.
  • the index values are integrated block by block, and the direction (angle) of the scanning line S does not need to be changed.
  • By shortening the length of the scanning line S it is possible to appropriately detect the area of the second pixels (background pixels) caused by the intermediate area (working path) 14 even if the crop row 12 extends obliquely. become. Therefore, there is no need to change the angle of the scanning line S.
  • Both ends of the arrow W in FIG. 22 indicate the positions of the crop row edge lines determined in each of the blocks B1, B2, and B3.
  • the crop row 12 direction is slanted with respect to the scan line S direction. Therefore, as described above, when a scanning line position showing a value 0.8 times the peak value of the integrated value histogram is adopted as the position of the edge line E of the crop row 12, such an edge line E corresponds to both ends of the "width" passing near the center of the crop row 12 in each of the blocks B1, B2, and B3.
  • FIG. 23 shows the crop row center Wc in each of blocks B1, B2, and B3 in FIG.
  • the crop row center Wc is obtained from the center of the arrow W that defines the edge line of the crop row obtained from the integrated value histogram in FIG. 22, and is located at the center of each block in the image vertical direction.
  • FIG. 23 shows an example of the approximation line 12C for the crop row center Wc belonging to the same crop row 12.
  • the approximation line 12C is, for example, a straight line obtained so as to minimize the root mean square distance (error) from the plurality of crop row centers Wc of each crop row 12 .
  • Such an approximation line 12C corresponds to a line passing through the center of the crop row 12.
  • FIG. 23 shows the crop row center Wc in each of blocks B1, B2, and B3 in FIG.
  • the crop row center Wc is obtained from the center of the arrow W that defines the edge line of the crop row obtained from the integrated value histogram in FIG. 22, and is located at the
  • FIG. 24 is a top view showing an example of the edge line E of the row of crops 12 determined from the approximation line 12C of FIG.
  • the two edge lines E associated with each crop row 12 are spaced equal to the length of the arrow W and equidistant from the approximation line 12C.
  • the edge line E of the row of crops 12 can be obtained with a smaller amount of calculation without changing the direction (angle) of the scanning line.
  • the length of each block in the image vertical direction can be set to correspond to a distance of 1 to 2 meters on the ground, for example.
  • one image is divided into three blocks to obtain the integrated value histogram, but the number of blocks may be four or more.
  • the shape of the block is not limited to the above example.
  • a block can have a strip shape that is continuous in either the horizontal direction of the image or the vertical direction of the image in the top view image.
  • the processing device 122 can divide the crop into belt-shaped blocks extending in a direction different from the traveling direction of the agricultural machine 100 and determine the edge line of the row of crops.
  • FIG. 25 schematically shows how the crop row 12 of the top view image 44 includes a curved portion.
  • FIG. 26 schematically shows integrated value histograms in each of blocks B1, B2, and B3 of the top view image 44 of FIG.
  • FIG. 27 is a diagram showing an example of the crop row center Wc in each of the blocks B1, B2, and B3 in FIG. 26 and the approximation line 12C for each crop row center Xc.
  • the approximation line 12C in this example is, for example, a curve obtained so as to minimize the root mean square of the distance (error) of each crop row 12 from the crop row center Wc (for example, a higher-order curve such as a cubic curve). is.
  • Such approximate line 12C corresponds to a curved line passing through the center of crop row 12 having curved portions.
  • FIG. 28 is a top view showing an example of the edge line E of the row of crops 12 determined from the approximation line of FIG.
  • Edge line E is generated in a manner similar to that described with reference to FIG. That is, the two edge lines E associated with each row of crops 12 are spaced equal to the length of the arrow W and equidistant from the approximation line 12C.
  • the top view image is divided into a plurality of blocks and a histogram of integrated values is generated for each block, it becomes easier to determine the direction of the crop row, and the direction of the crop row can be easily determined. Even if the direction changes on the way, it is possible to know the changed direction.
  • Any of the crop row detection methods described above can be implemented by being implemented in a computer and causing the computer to perform desired operations.
  • the agricultural machine in this embodiment includes the crop row detection system described above.
  • this agricultural machine includes a control system that performs control for realizing automatic steering operation.
  • a control system is a computer system that includes a storage device and a controller, and is configured to control steering, travel, and other operations of agricultural machinery.
  • the controller locates the agricultural machine by means of the positioning device and, based on a previously generated target path, steers the agricultural machine so that the agricultural machine travels along the target path.
  • Control Specifically, the steering angle of the steered wheels (for example, the front wheels) of the agricultural machine is controlled so that the work vehicle travels along the target route in the field.
  • the agricultural machine according to the present embodiment is equipped with an automatic steering device that is configured not only to operate in such a normal automatic steering mode, but also to automatically travel in a field provided with rows of crops by "row following travel control". .
  • the positioning device has, for example, a GNSS receiver.
  • Such positioning devices can determine the location of work vehicles based on signals from GNSS satellites.
  • the positioning device can measure the position of the agricultural machine with high accuracy, the space between the rows of crops is narrow, and depending on how the crops are planted and the growing conditions, the wheels of the agricultural machinery may be affected by the distance between the rows of crops.
  • the running devices such as the
  • the automatic steering device included in the agricultural machine in the embodiment of the present disclosure is configured to control the steering angle of the steering wheel based on the position of the edge line of the crop row determined by the crop row detection system.
  • the processing device of the crop row detection system can monitor the positional relationship between the edge line of the crop row and the steering wheel based on the time-series color images. If a position error signal is generated from this positional relationship, the automatic steering system of the agricultural machine can appropriately adjust the steering angle so as to reduce the position error signal.
  • FIG. 29 is a perspective view showing an example of the appearance of the agricultural machine 100 according to this embodiment.
  • FIG. 30 is a side view schematically showing an example of agricultural machine 100 with work implement 300 attached.
  • the agricultural machine 100 in this embodiment is an agricultural tractor (working vehicle) with a working machine 300 attached.
  • Agricultural machine 100 is not limited to a tractor, and work machine 300 need not be attached.
  • the crop row detection technology according to the present disclosure exhibits excellent effects when used in small-sized tending machines and vegetable transplanters that can be used for inter-row work such as ridge setting, intertillage, soiling, weeding, top-dressing, and pest control. be able to.
  • the agricultural machine 100 in this embodiment includes an imaging device 120, a positioning device 130, and an obstacle sensor 136. Although one obstacle sensor 136 is illustrated in FIG. 29, the obstacle sensors 136 may be provided at a plurality of locations on the agricultural machine 100 .
  • the agricultural machine 100 includes a vehicle body 110 , a prime mover (engine) 102 and a transmission (transmission) 103 .
  • the vehicle body 110 is provided with tires 104 (wheels) and a cabin 105 .
  • Tires 104 include a pair of front wheels 104F and a pair of rear wheels 104R.
  • a driver's seat 107 , a steering device 106 , an operation terminal 200 , and a group of switches for operation are provided inside the cabin 105 .
  • One of the front wheel 104F and the rear wheel 104R may be a crawler instead of a tire.
  • the agricultural machine 100 may be a four-wheel drive vehicle having four tires 104 as driving wheels, or a two-wheel drive vehicle having a pair of front wheels 104F or a pair of rear wheels 104R as driving wheels.
  • the positioning device 130 in this embodiment includes a GNSS receiver.
  • the GNSS receiver includes an antenna for receiving signals from GNSS satellites and processing circuitry for determining the position of agricultural machine 100 based on the signals received by the antenna.
  • the positioning device 130 receives GNSS signals transmitted from GNSS satellites and performs positioning based on the GNSS signals.
  • GNSS is a general term for satellite positioning systems such as GPS (Global Positioning System), QZSS (Quasi-Zenith Satellite System, eg, Michibiki), GLONASS, Galileo, and BeiDou.
  • the positioning device 130 in this embodiment is provided in the upper part of the cabin 105, but may be provided in another position.
  • the positioning device 130 can further supplement the position data using signals from an inertial measurement unit (IMU).
  • IMU inertial measurement unit
  • the IMU can measure tilts and minute movements of the agricultural machine 100 .
  • Positioning performance can be improved by using data obtained by the IMU to supplement position data based on GNSS signals.
  • an obstacle sensor 136 is provided at the rear portion of the vehicle body 110.
  • FIG. Obstacle sensor 136 may be arranged at a portion other than the rear portion of vehicle body 110 .
  • one or more obstacle sensors 136 may be provided anywhere on the sides, front, and cabin 105 of the vehicle body 110 .
  • the obstacle sensor 136 detects objects existing around the agricultural machine 100 .
  • Obstacle sensor 136 may comprise, for example, a laser scanner or ultrasonic sonar.
  • the obstacle sensor 136 outputs a signal indicating the presence of an obstacle when an object is present closer than a predetermined distance from the obstacle sensor 136 .
  • a plurality of obstacle sensors 136 may be provided at different positions on the vehicle body of the agricultural machine 100 . For example, multiple laser scanners and multiple ultrasonic sonars may be placed at different locations on the vehicle body. By providing such a large number of obstacle sensors 136, blind spots in monitoring obstacles around the agricultural machine 100 can be reduced.
  • the prime mover 102 is, for example, a diesel engine.
  • An electric motor may be used instead of the diesel engine.
  • the transmission 103 can change the driving force and the moving speed of the agricultural machine 100 by shifting.
  • the transmission 103 can also switch between forward and reverse of the agricultural machine 100 .
  • the steering device 106 includes a steering wheel, a steering shaft connected to the steering wheel, and a power steering device that assists steering by the steering wheel.
  • the front wheel 104F is a steerable wheel, and the traveling direction of the agricultural machine 100 can be changed by changing the steering angle (also referred to as "steering angle").
  • the steering angle of the front wheels 104F can be changed by operating the steering wheel.
  • the power steering system includes a hydraulic system or an electric motor that supplies an assist force for changing the steering angle of the front wheels 104F. When automatic steering is performed, the steering angle is automatically adjusted by the power of the hydraulic system or the electric motor under the control of the control device arranged in the agricultural machine 100 .
  • a coupling device 108 is provided at the rear portion of the vehicle body 110 .
  • the coupling device 108 includes, for example, a three-point support device (also called a "three-point link” or “three-point hitch"), a PTO (Power Take Off) shaft, a universal joint, and a communication cable.
  • the work machine 300 can be attached to and detached from the agricultural machine 100 by the coupling device 108 .
  • the coupling device 108 can control the position or attitude of the working machine 300 by elevating the three-point linkage by, for example, a hydraulic device.
  • power can be sent from the agricultural machine 100 to the working machine 300 via the universal joint.
  • the agricultural machine 100 can cause the work machine 300 to perform a predetermined work while pulling the work machine 300 .
  • the coupling device may be provided in front of vehicle body 110 . In that case, a working machine can be connected to the front of the agricultural machine 100 .
  • a working machine 300 shown in FIG. 30 is, for example, a rotary cultivator.
  • the work machine 300 that is towed or attached to a work vehicle such as a tractor when traveling in a row of crops can be used as long as it can be used for work between furrows such as furrowing, intertillage, soiling, weeding, top dressing, and pest control. is.
  • FIG. 31 is a block diagram showing an example of schematic configurations of the agricultural machine 100 and the working machine 300. As shown in FIG. Agricultural machine 100 and working machine 300 can communicate with each other via a communication cable included in coupling device 108 .
  • the agricultural machine 100 in the example of FIG. 31 includes an imaging device 120, a positioning device 130, an obstacle sensor 136, an operating terminal 200, a driving device 140, a steering wheel sensor 150, a steering angle sensor 152, a control system 160, a communication interface ( IF) 190 , operation switch group 210 , and buzzer 220 .
  • Positioning device 130 comprises a GNSS receiver 131 and an inertial measurement unit (IMU) 125 .
  • Control system 160 includes storage device 170 and control device 180 .
  • the controller 180 comprises a plurality of electronic control units (ECUs) 181-186.
  • Work machine 300 includes a drive device 340 , a control device 380 , and a communication interface (IF) 390 .
  • FIG. 31 shows constituent elements that are relatively highly relevant to the automatic steering or automatic traveling operation of the agricultural machine 100, and illustration of other constituent elements is omitted.
  • the positioning device 130 performs positioning of the agricultural machine 100 using GNSS.
  • the positioning device 130 comprises an RTK receiver
  • correction signals transmitted from reference stations are utilized in addition to GNSS signals transmitted from multiple GNSS satellites.
  • the reference station can be installed around the field on which the agricultural machine 100 runs (for example, within 10 km from the agricultural machine 100).
  • the reference station generates a correction signal based on GNSS signals received from multiple GNSS satellites and transmits the correction signal to the positioning device 130 .
  • a GNSS receiver 131 in the positioning device 130 receives GNSS signals transmitted from a plurality of GNSS satellites.
  • the positioning device 130 performs positioning by calculating the position of the agricultural machine 100 based on the GNSS signals and correction signals.
  • RTK-GNSS By using RTK-GNSS, it is possible to perform positioning with an accuracy of, for example, an error of several centimeters.
  • Location information including latitude, longitude and altitude information, is obtained through RTK-GNSS high-precision positioning.
  • the positioning method is not limited to RTK-GNSS, and any positioning method (interferometric positioning method, relative positioning method, etc.) that can obtain position information with required accuracy can be used.
  • positioning may be performed using VRS (Virtual Reference Station) or DGPS (Differential Global Positioning System).
  • the IMU 135 is equipped with a 3-axis acceleration sensor and a 3-axis gyroscope.
  • the IMU 135 may include an orientation sensor, such as a 3-axis geomagnetic sensor.
  • the IMU 135 functions as a motion sensor and can output signals indicating various quantities such as acceleration, speed, displacement, and attitude of the agricultural machine 100 .
  • the positioning device 130 can more accurately estimate the position and orientation of the agricultural machine 100 based on the signals output from the IMU 135 in addition to the GNSS signals and correction signals. Signals output from IMU 135 may be used to correct or impute position calculated based on GNSS signals and correction signals.
  • the IMU 135 outputs signals at a higher frequency than GNSS signals.
  • the position and orientation of the agricultural machine 100 can be measured at a higher frequency (eg, 10 Hz or higher).
  • a separate 3-axis acceleration sensor and 3-axis gyroscope may be provided.
  • the IMU 135 may be provided as a separate device from the positioning device 130 .
  • the positioning device 130 may include other types of sensors in addition to the GNSS receiver 131 and IMU 135. Depending on the environment in which the agricultural machine 100 runs, the position and orientation of the agricultural machine 100 can be estimated with high accuracy based on the data from these sensors.
  • the driving device 140 includes various components necessary for running the agricultural machine 100 and driving the work implement 300, such as the prime mover 102, the transmission 103, the differential including the differential lock mechanism, the steering device 106, and the coupling device .
  • Prime mover 102 includes an internal combustion engine, such as a diesel engine, for example.
  • Drive system 140 may include an electric motor for traction instead of or in addition to the internal combustion engine.
  • the steering wheel sensor 150 measures the rotation angle of the steering wheel of the agricultural machine 100.
  • the steering angle sensor 152 measures the steering angle of the front wheels 104F, which are steered wheels. Measured values by the steering wheel sensor 150 and the steering angle sensor 152 are used for steering control by the controller 180 .
  • the storage device 170 includes one or more storage media such as flash memory or magnetic disk.
  • the storage device 170 stores various data generated by each sensor and the control device 180 .
  • the data stored in the storage device 170 may include map data of the environment in which the agricultural machine 100 travels and data of target routes for automatic steering.
  • the storage device 170 also stores a computer program that causes each ECU in the control device 180 to execute various operations described later.
  • Such a computer program can be provided to the agricultural machine 100 via a storage medium (such as a semiconductor memory or an optical disk) or an electric communication line (such as the Internet).
  • Such computer programs may be sold as commercial software.
  • the control device 180 includes multiple ECUs.
  • the plurality of ECUs include an ECU 181 for image recognition, an ECU 182 for speed control, an ECU 183 for steering control, an ECU 184 for automatic steering control, an ECU 185 for work machine control, an ECU 186 for display control, and an ECU 187 for buzzer control.
  • the image recognition ECU 181 functions as a processing device for the crop row detection system.
  • ECU 182 controls the speed of agricultural machine 100 by controlling prime mover 102 , transmission 103 and brakes included in drive system 140 .
  • the ECU 183 controls steering of the agricultural machine 100 by controlling a hydraulic device or an electric motor included in the steering device 106 based on the measurement value of the steering wheel sensor 150 .
  • ECU 184 performs calculations and controls for realizing automatic steering operation based on signals output from positioning device 130 , steering wheel sensor 150 , and steering angle sensor 152 .
  • the ECU 184 sends an instruction to change the steering angle to the ECU 183 .
  • the ECU 183 changes the steering angle by controlling the steering device 106 in response to the command.
  • ECU 185 controls the operation of coupling device 108 in order to cause work machine 300 to perform a desired operation.
  • ECU 185 also generates a signal for controlling the operation of work machine 300 and transmits the signal to work machine 300 via communication IF 190 .
  • ECU 186 controls the display of operation terminal 200 .
  • the ECU 186 causes the display device of the operation terminal 200 to display various displays such as a map of the field, the detected rows of crops, the position and target route of the agricultural machine 100 on the map, pop-up notifications, setting screens, and the like.
  • ECU 187 controls the output of a warning sound by buzzer 220 .
  • control device 180 realizes driving by manual steering or automatic steering.
  • control device 180 controls drive device 140 based on the position of agricultural machine 100 measured or estimated by positioning device 130 and the target route stored in storage device 170 .
  • the control device 180 causes the agricultural machine 100 to travel along the target route.
  • the ECU 181 for image recognition determines edge lines of the row of crops from the detected row of crops, and generates a target route based on these edge lines.
  • the controller 180 performs operations according to this target path.
  • a plurality of ECUs included in the control device 180 can communicate with each other according to a vehicle bus standard such as CAN (Controller Area Network).
  • CAN Controller Area Network
  • each of the ECUs 181 to 187 is shown as an individual block in FIG. 31, their respective functions may be realized by a plurality of ECUs.
  • an in-vehicle computer that integrates at least part of the functions of the ECUs 181 to 187 may be provided.
  • the control device 180 may include ECUs other than the ECUs 181 to 187, and an arbitrary number of ECUs may be provided according to functions.
  • Each ECU has a control circuit that includes one or more processors.
  • the communication IF 190 is a circuit that communicates with the communication IF 390 of the working machine 300 .
  • Communication IF 190 performs transmission/reception of signals conforming to the ISOBUS standard such as ISOBUS-TIM with communication IF 390 of work machine 300 .
  • work machine 300 can be caused to perform a desired operation, or information can be acquired from work machine 300 .
  • the communication IF 190 may communicate with an external computer via a wired or wireless network.
  • the external computer may be, for example, a server computer in a farming support system that centrally manages information on fields on the cloud and utilizes data on the cloud to support agriculture.
  • the operation terminal 200 is a terminal for a user to perform operations related to traveling of the agricultural machine 100 and operation of the working machine 300, and is also called a virtual terminal (VT).
  • Operating terminal 200 may include a display device, such as a touch screen, and/or one or more buttons.
  • the user can, for example, switch on/off the automatic steering mode, switch on/off the cruise control, set the initial position of the agricultural machine 100, set the target route, record a map, or Various operations such as editing, 2WD/4WD switching, differential lock ON/OFF switching, and work machine 300 ON/OFF switching can be performed. At least part of these operations can also be realized by operating the operation switch group 210 . Display on the operation terminal 200 is controlled by the ECU 186 .
  • the buzzer 220 is an audio output device that emits a warning sound to notify the user of an abnormality.
  • the buzzer 220 emits a warning sound, for example, when the agricultural machine 100 deviates from the target route by a predetermined distance or more during automatic steering operation.
  • a similar function may be realized by a speaker of the operation terminal 200 instead of the buzzer 220 .
  • Buzzer 220 is controlled by ECU 186 .
  • the drive device 340 in the work machine 300 performs operations necessary for the work machine 300 to perform a predetermined work.
  • Drive device 340 includes a device, such as a hydraulic device, an electric motor, or a pump, depending on the application of work machine 300 .
  • Controller 380 controls the operation of drive 340 .
  • the control device 380 causes the driving device 340 to perform various operations in response to signals transmitted from the agricultural machine 100 via the communication IF 390 .
  • a signal corresponding to the state of work machine 300 can also be transmitted from communication IF 390 to agricultural machine 100 .
  • the agricultural machine 100 may be a working vehicle that operates unmanned and automatically. In that case, the agricultural machine 100 does not need to be provided with components necessary only for manned operation, such as a cabin, a driver's seat, a steering wheel, and an operation terminal.
  • the unmanned work vehicle may perform operations similar to those in the above-described embodiments by autonomous travel or remote control by a user.
  • a system that provides various functions in the embodiments can be retrofitted to agricultural machines that do not have those functions.
  • Such systems can be manufactured and sold independently of agricultural machinery.
  • Computer programs used in such systems may also be manufactured and sold independently of agricultural machinery.
  • the computer program may be provided by being stored in a non-transitory computer-readable storage medium, for example.
  • Computer programs may also be provided by download via telecommunications lines (eg, the Internet).
  • the technology of the present disclosure can be applied, for example, to agricultural machines such as ride-on maintenance machines, vegetable transplanters, and tractors.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Guiding Agricultural Machines (AREA)
  • Image Processing (AREA)

Abstract

作物列検出システムは、農業機械に取り付けられ、農業機械が走行する地面を撮影して地面の少なくとも一部を含む時系列カラー画像を取得する撮像装置と、時系列カラー画像の画像処理を行う処理装置とを備える。処理装置は、時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成し、強調画像から、作物列の色の指標値が閾値以上の第１画素と、指標値が閾値未満の第２画素とに分類された、地面の上方から見た上面視画像を生成し、第１画素の指標値に基づいて、作物列のエッジラインの位置を決定する。

Description

作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法
　本開示は、作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法に関する。
　圃場で使用されるトラクタなどの作業車両の自動化に向けた研究開発が進められている。例えば、精密な測位が可能なＧＮＳＳ（Global Navigation Satellite System）などの測位システムを利用して自動操舵で走行する作業車両が実用化されている。自動操舵に加えて速度制御を自動で行う作業車両も実用化されている。
　また、圃場における作物の列（作物列）または畝をカメラなどの撮像装置を用いて検出し、検出した作物列または畝に沿って作業車両の走行を制御するビジョン・ガイダンスシステムが開発されつつある。
　特許文献１は、列状に形成された畝に作物が植えられた耕作地を畝に沿って走行する作業機を開示している。特許文献１は、車載カメラで耕作地を斜め上方から撮影して取得した原画像を二値化処理した後、平面射影変換画像を生成することを記載している。特許文献１が開示する技術では、平面射影変換画像を回転させることにより、向きが異なる多数の回転画像を生成し、畝と畝との間の作業通路を検出する。
特開２０１６－２０８８７１号公報
　撮像装置を用いて作物列または畝を検出する技術では、日照条件などの外乱要因によって検出の精度が低下する場合がある。
　本開示は、このような課題を解決することが可能な作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法を提供する。
　本開示による作物列検出システムは、例示的で非限定的な実施形態において、農業機械に取り付けられ、前記農業機械が走行する地面を撮影して前記地面の少なくとも一部を含む時系列カラー画像を取得する撮像装置と、前記時系列カラー画像の画像処理を行う処理装置とを備える。前記処理装置は、前記時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成し、前記強調画像から、前記作物列の色の指標値が閾値以上の第１画素と、前記指標値が前記閾値未満の第２画素とに分類された、前記地面の上方から見た上面視画像を生成し、前記第１画素の前記指標値に基づいて、前記作物列のエッジラインの位置を決定する。
　本開示による農業機械は、例示的で非限定的な実施形態において、上記の作物列検出システムを備える農業機械であって、操舵輪を含む走行装置と、前記作物列検出システムが決定した前記作物列の前記エッジラインの位置に基づいて、前記操舵輪の操舵角を制御する自動操舵装置とを備える。
　本開示による作物列検出方法は、例示的で非限定的な実施形態において、コンピュータに実装される作物列検出方法であって、農業機械に取り付けられた撮像装置から、前記農業機械が走行する地面を撮影した、前記地面の少なくとも一部を含む時系列カラー画像を取得すること、前記時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成すること、前記強調画像から、前記作物列の色の指標値が閾値以上の第１画素と、前記指標値が前記閾値未満の第２画素とに分類された、前記地面の上方から見た上面視画像を生成すること、前記第１画素の前記指標値に基づいて、前記作物列のエッジラインの位置を決定することをコンピュータに実行させる。
　本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよいし、分離した２つ以上の機器内に分かれて配置されていてもよい。
　本開示の実施形態によれば、日照条件などの外乱要因による検出精度低下を抑制し、ロバスト性を高めることが可能になる。
農業機械に取り付けられた撮像装置が地面を撮影する様子を模式的に示す図である。 農業機械に対して固定されたボディ座標系Σｂおよびカメラ座標系Σｃと、地面に対して固定されたワールド座標系Σｗとの関係を模式的に示す斜視図である。 地面に複数の作物列が設けられた圃場の一部を模式的に示す上面図である。 図３に示す農業機械の撮像装置が取得した画像の例を模式的に示す図である。 農業機械の位置および向き（ヨー方向の角度）を調整した状態を模式的に示す上面図である。 図５の状態にある農業機械の撮像装置が取得した画像の例を示す図である。 本開示の実施形態における作物列検出システムの基本的な構成例を示すブロック図である。 本開示の実施形態における処理装置の構成例を模式的に示すブロック図である。 トラクタに搭載された車載カメラが取得した時系列カラー画像における１フレームの画像に対応するモノクロ画像である。 時系列カラー画像における１フレームの画像のＲＧＢ値を緑過剰指標（ＥｘＧ＝２×ｇ－ｒ－ｂ）に変換した強調画像を示す図である。 図１０の画像における緑過剰指標（ＥｘＧ）のヒストグラムである。 第１画素（例えば作物画素）と第２画素（背景画素）とに分類された上面視画像（俯瞰画像）の例を示す図である。 カメラ座標系Σｃ１およびカメラ座標系Σｃ２のそれぞれと、基準平面Ｒｅとの配置関係を模式的に示す斜視図である。 上面視画像における作物列の方向と走査ラインの方向とが平行な例を示す模式図である。 図１４の上面視画像について得られた積算値ヒストグラムの例を模式的に示す図である。 上面視画像における作物列の方向と走査ラインの方向とが交差する例を示す模式図である。 図１６の上面視画像について得られた積算値ヒストグラムの例を模式的に示す図である。 本開示の実施形態における処理装置が作物列のエッジラインを決定するアルゴリズムの例を示すフローチャートである。 図１２の上面視画像から得られた積算値ヒストグラムを示す図である。 本開示の実施形態における処理装置が実行する処理を示すブロック図である。 上面視画像を複数のブロックに分割する形態を説明するための図である。 図２１の各ブロックにおける、走査ラインの位置と指標値の積算値との関係を模式的に示す図である。 図２２の各ブロックにおける作物列中心と、作物列中心に対する近似線の例を示す図である。 図２３の近似線に基づいて決定した作物列のエッジラインの例を示す上面図である。 作物列が曲線上に曲がる部分を含む場合において、上面視画像の一部または全部を複数のブロックに分割して、複数のブロックのそれぞれについて、エッジラインの位置を決定する方法を説明するための図である。 図２５の各ブロックにおける、走査ラインの位置と指標値の積算値（ヒストグラム）との関係を模式的に示す図である。 図２６の各ブロックにおける作物列中心と、作物列中心に対する近似線の例を示す図である。 図２７の近似曲線に基づいて決定した作物列のエッジラインの例を示す上面図である。 本開示の実施形態における農業機械の外観の例を示す斜視図である。 作業機が装着された状態の農業機械の例を模式的に示す側面図である。 農業機械および作業機の概略的な構成の例を示すブロック図である。
　以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に関する重複する説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同じ参照符号を付している。
　下記の実施形態は例示であり、本開示の技術は、以下の実施形態に限定されない。例えば、以下の実施形態について示される数値、形状、材料、ステップ、そのステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
　本開示における「農業機械」は、「耕す」、「植える」、「収穫する」などの農業の基本的な作業を圃場で行う機械を広く含む。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う機能および構造を備える機械である。これらの農作業を「対地作業」または単に「作業」と称することがある。農業機械は、それ自体が移動するための走行装置を備えている必要はなく、走行装置を備える他の車両に装着されたり、牽引されたりすることによって走行してもよい。また、トラクタのような作業車両が単独で「農業機械」として機能する場合に限られず、作業車両に装着または牽引される作業機（インプルメント）と作業車両の全体がひとつの「農業機械」として機能する場合がある。農業機械の例は、トラクタ、乗用管理機、野菜移植機、草刈機、および、圃場用移動ロボットを含む。
　（実施形態１）
　本開示の例示的な第１の実施形態における作物列検出システムおよび作物列検出方法を説明する。
　本実施形態における作物列検出システムは、農業機械に取り付けられて使用される撮像装置を備える。撮像装置は、農業機械が走行する地面を撮影して、地面の少なくとも一部を含む時系列カラー画像を取得するように農業機械に固定されている。
　図１は、例えばトラクタまたは乗用管理機などの農業機械１００に取り付けられた撮像装置１２０が地面１０を撮影する様子を模式的に示している。図１の例において、農業機械１００は、走行可能な車両本体１１０を備え、撮像装置１２０は車両本体１１０に固定されている。参考のため、図１には、互いに直交するＸｂ軸、Ｙｂ軸、Ｚｂ軸を有するボディ座標系Σｂが示されている。ボディ座標系Σｂは、農業機械１００に固定された座標系であり、ボディ座標系Σｂの原点は、例えば農業機械１００の重心付近に設定され得る。図では、見やすさのため、ボディ座標系Σｂの原点が農業機械１００の外部に位置しているように記載されている。本開示におけるボディ座標系Σｂでは、Ｘｂ軸は農業機械１００が直進するときの走行方向（矢印Ｆの方向）に一致している。Ｙｂ軸は、座標原点からＸｂ軸における正方向を見たときの真右の方向に一致し、Ｚｂ軸は鉛直下方の方向に一致する。
　撮像装置１２０は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有する車載カメラである。本実施形態における撮像装置１２０は、例えば、３フレーム／秒（ｆｐｓ: frames per second）以上のフレームレートで動画を撮影することができる単眼カメラである。
　図２は、上述したボディ座標系Σｂと、撮像装置１２０のカメラ座標系Σｃと、地面１０に固定されたワールド座標系Σｗとの関係を模式的に示す斜視図である。カメラ座標系Σｃは、互いに直行するＸｃ軸、Ｙｃ軸、Ｚｃ軸を有しており、ワールド座標系Σｗは、互いに直行するＸｗ軸、Ｙｗ軸、Ｚｗ軸を有している。図２の例において、ワールド座標系ΣｗのＸｗ軸およびＹｗ軸は、地面１０に沿って拡がる基準平面Ｒｅ上にある。
　撮像装置１２０は、農業機械１００の所定位置に所定方向を向くように取り付けられる。このため、ボディ座標系Σｂに対するカメラ座標系Σｃの位置および向きは、既知の状態に固定される。カメラ座標系ΣｃのＺｃ軸は、カメラ光軸λ１上にある。図示される例において、カメラ光軸λ１は、農業機械１００の走行方向Ｆから地面１０に向かって傾斜しており、俯角Φは、０°よりも大きい。農業機械１００の走行方向Ｆは、農業機械１００が走行している地面１０に対して概略的に平行である。俯角Φは、例えば０°以上６０°以下の範囲に設定され得る。撮像装置１２０が取り付けられる位置が地面１０に近い場合、俯角Φは負の値、言い換えると、正の仰角を有するようにカメラ光軸λ１の向きが設定されていてもよい。
　農業機械１００が地面１０の上を走行しているとき、ボディ座標系Σｂおよびカメラ座標系Σｃは、ワールド座標系Σｗに対して並進する。走行中、農業機械１００がピッチ、ロール、ヨーの方向に回転または揺動すると、ボディ座標系Σｂおよびカメラ座標系Σｃは、ワールド座標系Σｗに対して回転し得る。以下の説明においては、簡単のため、農業機械１００は、ピッチおよびロールの方向には回転せず、地面１０に対して、ほぼ平行に移動するものとする。
　図３は、地面１０に複数の作物列１２が設けられている圃場の一部を模式的に示す上面図である。作物列１２とは、圃場の地面１０に作物が一方向に連続的に作付けされることによって形成された列である。言い換えれば、作物列１２とは、圃場の畝に植え付けられた作物の集まりのことである。このように、個々の作物列１２は、圃場に植えられた作物の集まりが形成する列であるため、作物列の形状は、厳密には、作物の形状および作物の配置に依存して複雑である。作物列１２の幅は、作物の生育に応じて変化する。
　隣りあう作物列１２の間には、作物が植えられていない中間領域１４が帯状に存在する。各中間領域１４は、隣りあう２本の作物列１２の間で対向する２本のエッジラインＥに挟まれた領域である。なお、１つの畝に対して、畝の幅方向に複数の作物が作付けされる場合 、１つの畝上に複数の作物列１２が形成されることになる。即ち、畝の条間に複数の作物列１２が形成されることになる。このような場合は、畝上に形成された複数の作物列１２のうち、畝の幅方向の端に位置する作物列１２のエッジラインＥが、中間領域１４の基準となる。つまり、中間領域１４は、複数の作物列１２のエッジラインＥのうち、畝の幅方向の端に位置する作物列１２のエッジラインＥの間となる。
　中間領域１４は、農業機械１００の車輪が通過する領域（作業通路）として機能するため、「中間領域」を「作業通路」と称する場合がある。
　本開示において、作物列の「エッジライン」とは、農業機械が走行するときの目標経路を規定するための基準の線分（曲線を含み得る）を意味する。このような基準の線分は、農業機械の車輪の通過が許容される帯状の領域（作業通路）の両端として定義され得る。作物列の「エッジライン」を決定する具体的な方法については、後述する。
　図３には、作物列１２が設けられた圃場に侵入しつつある１台の農業機械１００が模式的に記載されている。この農業機械１００は、左右の前輪１０４Ｆと、左右の後輪１０４Ｒとを走行装置として備えており、作業機（インプルメント）３００を牽引している。前輪１０４Ｆは操舵輪である。
　図３の例では、中央に位置する１本の作物列１２の両側に位置する作業通路１４に、それぞれ、太い破線の矢印Ｌ、Ｒが記載されている。農業機械１００が実線の矢印Ｃで示される目標経路上を走行するとき、農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒは、作物列１２を踏まないように、作業通路１４の中を矢印Ｌ、Ｒに沿って移動することが求められる。本実施形態では、農業機械１００に取り付けた撮像装置１２０を用いて作物列１２のエッジラインＥを検出できるため、前輪１０４Ｆおよび後輪１０４Ｒが作業通路１４の中を矢印Ｌ、Ｒに沿って移動するように農業機械１００の操舵・走行を制御することが可能になる。このように作物列のエッジラインＥに基づいて、農業機械１００の操舵・走行を制御することを「列倣い走行制御」と呼んでもよい。
　図４は、図３に示す農業機械１００の撮像装置１２０が取得した画像４０の例を模式的に示す図である。地面１０で平行に延びる複数の作物列１２および中間領域（作業通路）１４は、理論的には、地平線１１上にある消失点Ｐ０で交わる。消失点Ｐ０が画像４０の右側の領域に位置している理由は、図３に示されるように、農業機械１００の走行方向Ｆが、作物列１２が延びる方向（矢印Ｃに平行な方向）に対して傾斜しているからである。
　本実施形態では、後述する方法により、日照条件や作物の生育状態が変化しても、このような画像４０から作物列１２を正確に検出し、作物列１２のエッジラインＥを決定することが可能になる。そして、エッジラインＥに基づいて、農業機械１００が進むべき経路（目標経路）を適切に生成することができる。その結果、自動操舵により、農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒが作業通路１４の中を矢印Ｌ、Ｒに沿って移動するように農業機械１００の走行を制御すること（列倣い走行制御）が可能になる。このような列倣い走行制御によれば、ＧＮＳＳなどの測位システムを利用した自動操舵技術では実現困難な、作物の生育状況に応じた精密な自動操舵が可能になる。
　図５は、目標経路（矢印Ｃ）に対する位置誤差を縮小するように農業機械１００を操舵して農業機械１００の位置および向き（ヨー方向の角度）を調整した状態を模式的に示す上面図である。図６は、そのような状態にある農業機械１００の撮像装置１２０が取得した画像４０の例を示す図である。図５の状態にある農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒは、それぞれ、作業通路１４の中を矢印Ｌおよび矢印Ｒで示されるライン上に位置している。中央の矢印Ｃによって示される目標経路Ｃに沿って農業機械１００が走行するとき、農業機械１００における自動操舵装置は、前輪１０４Ｆおよび後輪１０４Ｒが、それぞれ、作業通路１４から逸脱しないように操舵輪の操舵角を制御する。
　以下、本開示の実施形態による作物列検出システムの構成および動作を詳細に説明する。
　本実施形態による作物列検出システム１０００は、図７に示すように、前述の撮像装置１２０と、撮像装置１２０から取得した時系列カラー画像の画像処理を行う処理装置１２２とを備える。処理装置１２２は、例えば、農業機械１００が備える自動操舵装置１２４に接続され得る。自動操舵装置１２４は、例えば、農業機械１００の走行を制御する自動運転装置に含まれる。
　処理装置１２２は、画像認識用の電子制御ユニット（ＥＣＵ）によって実現され得る。ＥＣＵは、車載用のコンピュータである。処理装置１２２は、撮像装置１２０が出力する画像データを受け取るように、例えばワイヤハーネスなどのシリアル信号線によって撮像装置１２０に接続される。処理装置１２２が実行する画像認識の処理の一部が撮像装置１２０の内部（カメラモジュール内）で実行されてもよい。
　図８は、処理装置１２２のハードウェア構成例を示すブロック図である。処理装置１２２は、プロセッサ２０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２４、通信装置２６、記憶装置２８を備える。これらの構成要素は、バス３０を介して相互に接続される。
　プロセッサ２０は、半導体集積回路であり、中央演算処理ユニット（ＣＰＵ）またはマイクロプロセッサとも称される。プロセッサ２０は、画像処理ユニット（ＧＰＵ）を含んでいてもよい。プロセッサ２０は、ＲＯＭ２２に格納された所定の命令群を記述したコンピュータプログラムを逐次実行し、本開示の作物列検出に必要な処理を実現する。プロセッサ２０の一部または全部は、ＣＰＵを搭載したＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）またはＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｓｔａｎｄａｒｄ　Ｐｒｏｄｕｃｔ）であってもよい。
　通信装置２６は、処理装置１２２と外部のコンピュータとの間でデータ通信を行うためのインタフェースである。通信装置２６は、ＣＡＮ（Controller Area Network）などによる有線通信、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格および／またはＷｉ－Ｆｉ（登録商標）規格に準拠した無線通信を行うことができる。
　記憶装置２８は、撮像装置１２０から取得した画像、または、処理の途中における画像のデータを記憶することができる。記憶装置２８の例は、ハードディスクドライブまたは不揮発性半導体メモリを含む。
　処理装置１２２のハードウェア構成は、上記の例に限定されない。処理装置１２２の一部または全部が農業機械１００に搭載されている必要はない。通信装置２６を利用することにより、農業機械１００の外部に位置する１または複数のコンピュータを処理装置１２２の一部または全部として機能させることも可能である。例えば、ネットワークに接続されたサーバコンピュータが処理装置１２２の一部または全部として機能し得る。一方、農業機械１００が搭載するコンピュータが処理装置１２２に求められるすべての機能を実行してもよい。
　本実施形態では、このような処理装置１２２が、撮像装置１２０から時系列カラー画像を取得し、下記の動作Ｓ１、Ｓ２、Ｓ３を実行する。
　（Ｓ１）時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成する。
　（Ｓ２）強調画像から、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された、地面の上方から見た上面視画像を生成する。
　（Ｓ３）第１画素の前記指標値に基づいて、作物列のエッジラインの位置を決定する。
　以下、動作Ｓ１、Ｓ２、Ｓ３の具体例を詳細に説明する。
　時系列カラー画像は、撮像装置１２０が撮影によって時系列的に取得した画像の集まりである。それぞれの画像は、フレーム単位の画素群によって構成される。例えば、撮像装置１２０が３０フレーム／秒のフレームレートで画像を出力する場合、処理装置１２２は、約３３ミリ秒の周期で新しい画像を取得することが可能である。トラクタなどの農業機械１００が圃場内を走行する速度は、公道を走行する一般の自動車の速度に比べて相対的に低く、例えば時速１０キロメール程度以下であり得る。時速１０キロメートルの場合、約３３ミリ秒で進む距離は約６センチメートルである。このため、処理装置１２２は、例えば１００～３００ミリ秒程度の周期で画像を取得してもよく、撮像装置１２０が撮像するすべてのフレームの画像を処理する必要はない。処理装置１２２が処理の対象とする画像の取得周期は、農業機械１００の走行速度に応じて、処理装置１２２が自動的に変更してもよい。
　図９は、農業機械に搭載された撮像装置（この例では単眼カメラ）が取得した時系列カラー画像における１フレームの画像４０に対応する画像である。図９の画像には、圃場の地面に列状に植えられた作物の列（作物列）が映し出されている。この例において、作物の列は、地面の上で、ほぼ平行かつ等間隔に並び、撮像装置のカメラ光軸は農業機械の進行方向を向いている。前述したように、カメラ光軸は、農業機械の進行方向に対して平行である必要はなく、農業機械の進行方向の前方で地面に入射していてもよい。撮像装置の取り付け位置は、この例に限定されない。農業機械に複数の撮像装置が取り付けられる場合、幾つかの撮像装置は、進行方向に対して反対の方向、あるいは、進行方向と交差する方向にカメラ光軸を向けていてもよい。
　動作Ｓ１では、図７の処理装置１２２が、撮像装置１２０から取得した時系列カラー画像に基づいて、検出対象である作物列の色を強調した画像（強調画像）を生成する。作物は、太陽光（白色光）を受けて光合成を行うため、クロロフィル（葉緑素）を有している。クロロフィルは、赤色および青色に比べて、緑色の光吸収率が低い。このため、作物によって反射される太陽光のスペクトルは、土壌表面によって反射される太陽光のスペクトルに比べ、緑色の波長範囲で相対的に高い値を示す。その結果、作物の色は、一般に緑色の成分を多く含み、「作物列の色」は、典型例には緑色である。しかし、後述するように、「作物列の色」は、緑色に限定されない。
　撮像装置１２０におけるイメージセンサは、行および列状に配列された多数の光検出セルを有している。個々の光検出セルは、画像を構成する画素（ピクセル）に対応し、赤色の光の強度を検出するＲサブ画素、緑色の光の強度を検出するＧサブ画素、および、青色の光の強度を検出するＢサブ画素を含む。各光検出セルにおけるＲサブ画素、Ｇサブ画素、およびＢサブ画素で検出される光の出力を、それぞれ、Ｒ値、Ｇ値、およびＢ値と呼ぶことにする。以下、Ｒ値、Ｇ値、およびＢ値を総称して「画素値」または「ＲＧＢ値」と呼ぶ場合がある。Ｒ値、Ｇ値、およびＢ値を用いる場合、ＲＧＢ色空間内の座標値によって色を規定することができる。
　検出対象である作物列の色が緑色である場合、作物列の色を強調した強調画像とは、撮像装置が取得したカラー画像における各画素のＲＧＢ値を、Ｇ値のウェイトが相対的に大きな画素値に変換した画像である。強調画像を生成するための、このような画素値の変換は、例えば、「（２×Ｇ値－Ｒ値－Ｂ値）／（Ｒ値＋Ｇ値＋Ｂ値）」で定義される。ここで、分母の（Ｒ値＋Ｇ値＋Ｂ値）は規格化のための因子である。以下、規格化されたＲＧＢ値をｒｇｂ値と称し、r＝Ｒ値／（Ｒ値＋Ｇ値＋Ｂ値）、ｇ＝Ｇ値／（Ｒ値＋Ｇ値＋Ｂ値）、ｂ＝Ｂ値／（Ｒ値＋Ｇ値＋Ｂ値）で定義する。「２×ｇ－ｒ－ｂ」は、緑過剰指標（ＥｘＧ：Excess Green Index）と呼ばれる。
　図１０は、図９の画像におけるＲＧＢ値を、「２×ｇ－ｒ－ｂ」に変換した強調画像４２を示す図である。この変換により、図１０の画像４２において、「ｒ＋ｂ」がｇに比べて相対的に小さな画素は明るく表示され、「ｒ＋ｂ」がｇに比べて相対的に大きな画素は暗く表示される。この変換により、検出対象である作物列の色（この例では「緑色」）を強調した画像（強調画像）４２が得られる。図１０の画像において相対的に明るい画素は、緑色の成分が相対的に大きな画素であり、作物の領域に属している。
　作物の色を強調する「色の指標値」として、緑過剰指標（ＥｘＧ）以外に、例えば、緑赤植生指標（Ｇ値－Ｒ値）／（Ｇ値＋Ｒ値）などの他の指標を用いてもよい。また、撮像装置が赤外カメラとしても機能し得る場合は、「作物列の色の指標値」として、ＮＤＶＩ（Normalized Difference Vegetation Index）を用いてもよい。
　なお、作物列のそれぞれの列が「マルチ」と呼ばれるシート（ｍｕｌｃｈｉｎｇ　ｓｈｅｅｔ）によって覆われていることがある。このような場合、「作物列の色」は、「作物を覆って列状に配置される物体の色」である。具体的には、シートの色が無彩色である黒の場合、「作物列の色」は「黒」を意味する。また、シートの色が赤色の場合、「作物列の色」は「赤色」を意味する。このように「作物列の色」は、作物そのものの色だけではなく、作物列を規定する領域の色（土壌表面の色から識別可能な色）を意味する。
　「作物列の色」を強調した強調画像の生成には、ＲＧＢ色空間からＨＳＶ色空間への変換を利用してもよい。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の三つの成分によって構成される色空間である。ＲＧＢ色空間からＨＳＶ色空間に変換した色情報を用いることにより、黒または白のような彩度の低い「色」を検出することができる。ＯｐｅｎＣＶのライブラリを利用して「黒」を検出する場合、色相を最大範囲（０～１７９）、彩度を最大範囲（０～２５５）に設定し、明度の範囲を０～３０に設定すればよい。また、「白」を検出する場合は、色相を最大範囲（０～１７９）、彩度を最大範囲（０～２５５）に設定し、明度の範囲を２００～２５５に設定すればよい。このような設定範囲に含まれる色相、彩度、明度を有する画素が、検出するべき色を持つ画素である。なお、例えば緑色の画素を検出する場合、色相の範囲を例えば３０～９０の範囲に設定すればよい。
　検出対象である作物列の色を強調した画像（強調画像）を生成することにより、作物列の領域を、それ以外の背景領域から区分（抽出）すること（セグメンテーション）が容易になる。
　次に、動作Ｓ２を説明する。
　動作Ｓ２では、処理装置１２２が、強調画像４２から、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された上面視画像を生成する。上面視画像は、地面の上方から見た画像である。
　本実施形態では、作物列の色の指標値として、前述した緑過剰指標（ＥｘＧ）を採用し、判別分析法（大津の二値化）によって判別の閾値を決定する。図１１は、図１０の強調画像４２における緑過剰指標（ＥｘＧ）のヒストグラムである。ヒストグラムの横軸が緑過剰指標（ＥｘＧ）であり、縦軸が画像内における画素数（生起頻度に対応）である。図１１には、判別分析法のアルゴリズムによって算出された閾値Ｔｈを示す破線が示されている。強調画像４２の画素は、この閾値Ｔｈによって２つのクラスに分類される。閾値Ｔｈを示す破線の右側には、緑過剰指標（ＥｘＧ）が閾値以上の画素の生起頻度が示されており、これらの画素は作物のクラスに属していると推定される。これに対し、閾値Ｔｈを示す破線の左側には、緑過剰指標（ＥｘＧ）が閾値未満の画素の生起頻度が示されており、これらの画素は土壌などの被作物のクラスに属していると推定される。この例において、指標値が閾値以上の画素である第１画素は、「作物画素」に相当する。一方、この指標値が閾値未満の第２画素は「背景画素」に相当する。背景画素は、土壌の表面など、検出対象以外の物体に対応し、前述した中間領域（作業通路）１４は、背景画素によって構成され得る。なお、閾値の決定方法は、上記の例に限定されず、例えば機械学習を利用した他の方法を用いて閾値を決定してもよい。
　強調画像４２を構成する各画素を「第１画素」および「第２画素」の一方に割り当てることにより、強調画像４２から検出対象の領域を抽出することができる。また、「第２画素」の画素値に「ゼロ」を与えたり、画像データから第２画素のデータを取り除いたりすることにより、検出対象以外の領域をマスクすることができる。マスクするべき領域を確定するとき、緑過剰指標（ＥｘＧ）が局所的に高い値を示す画素をノイズとしてマスク領域に含める処理を行ってもよい。
　図１２は、第１画素と第２画素とに分類された、地面の上方からみた上面視画像４４の例を示す図である。図１２の上面視画像４４は、後述する画像変換の技術により、図１０の強調画像４２から作成した画像である。この上面視画像４４において、作物列の色の指標値（この例では緑過剰指標）が閾値Ｔｈ未満の第２画素は、黒い画素（明度がゼロに設定された画素）である。第２画素によって構成される領域は、主として地面における土壌の表面が見える領域である。図１２の上面視画像４４には、下辺に接する左右の角部に黒い三角形の領域が存在する。この三角形の領域は、図１０の強調画像４２には映っていなかった領域に相当する。なお、図９の画像４０および図１０の強調画像４２には、本来は直線であるはずの線が画像の周辺部で歪む現象が観察される。このような画像の歪みは、カメラのレンズの性能に起因して生じており、カメラの内部パラメータを用いて補正され得る。作物領域の強調、マスク、歪みの補正などの処理は、前処理と呼ぶことができる。前処理は、このような処理以外の処理を含んでいてもよい。
　図１２の上面視画像４４は、地面に平行な基準平面Ｒｅを、基準平面Ｒｅの法線方向における真上から見た俯瞰画像である。この俯瞰画像は、図１０の強調画像４２からホモグラフィ変換（平面射影変換）によって生成することができる。ホモグラフィ変換は、幾何学的変換の一種であり、３次元空間内の、ある平面上にある点を、他の任意の平面上にある点に変換することができる。
　図１３は、第１の姿勢（位置および向き:ポーズ）にある撮像装置のカメラ座標系Σｃ１、および第２の姿勢にある撮像装置のカメラ座標系Σｃ２のそれぞれと、基準平面Ｒｅとの配置関係を模式的に示す斜視図である。図示される例において、カメラ座標系Σｃ１は、そのＺｃ軸が基準平面Ｒｅに斜めに交わるように傾斜している。第１の姿勢にある撮像装置は、農業機械に取り付けられた撮像装置に相当する。これに対して、カメラ座標系Σｃ２は、そのＺｃ軸が基準平面Ｒｅに直交している。言い換えると、カメラ座標系Σｃ２は、基準平面Ｒｅを、基準平面Ｒｅの法線方向における真上から見た俯瞰画像を取得できるように配置された状態にある。
　カメラ座標系Σｃ１の原点Ｏ１からＺｃ軸でカメラの焦点距離だけ離れた位置に仮想的な画像平面Ｉｍ１が存在する。画像平面Ｉｍ１は、Ｚｃ軸およびカメラ光軸λ１に直交する。画像平面Ｉｍ１上の画素位置は、互いに直交するｕ軸およびｖ軸を有する画像座標系によって定義される。例えば、基準平面Ｒｅ上に位置する点Ｐ１および点Ｐ２の座標が、それぞれ、ワールド座標系Σｗにおいて、（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）であるとする。図１３の例では、ワールド座標系ΣｗのＸｗ軸およびＹｗ軸が基準平面Ｒｅ上にある。このため、Ｚ１＝Ｚ２＝０である。基準平面Ｒｅは、地面に沿って拡がるように設定される。
　基準平面Ｒｅ上の点Ｐ１および点Ｐ２は、それぞれ、ピンホールカメラモデルの透視投影により、第１の姿勢にある撮像装置の画像平面Ｉｍ１上の点ｐ１および点ｐ２に変換される。画像平面Ｉｍ１において、点ｐ１および点ｐ２は、それぞれ、（ｕ１，ｖ１）および（ｕ２，ｖ２）の座標で示される画素位置にある。
　撮像装置が第２の姿勢にある場合、カメラ座標系Σｃ２の原点Ｏ２からＺｃ軸でカメラの焦点距離だけ離れた位置に仮想的な画像平面Ｉｍ２が存在する。この例において、画像平面Ｉｍ２は、基準平面Ｒｅに平行である。画像平面Ｉｍ２上の画素位置は、互いに直交するｕ＊軸およびｖ＊軸を有する画像座標系によって定義される。基準平面Ｒｅ上の点Ｐ１および点Ｐ２は、それぞれ、透視投影により、画像平面Ｉｍ２上の点ｐ１＊および点ｐ２＊に変換される。画像平面Ｉｍ２において、点ｐ１＊および点ｐ２＊は、それぞれ、（ｕ１＊，ｖ１＊）および（ｕ２＊，ｖ２＊）の座標で示される画素位置にある。
　基準平面Ｒｅ（ワールド座標系Σｗ）に対するカメラ座標系Σｃ１、Σｃ２の配置関係が与えられると、ホモグラフィ変換により、画像平面Ｉｍ１上の任意の点（ｕ，v）から、画像平面Ｉｍ２上で対応する点（ｕ＊，v＊）を求めることができる。このようなホモグラフィ変換は、点の座標を同次座標系で表現すると、３行×３列の変換行列Ｈによって規定される。
Figure JPOXMLDOC01-appb-M000001
　変換行列Ｈの中身は、以下に示すように、ｈ１１、ｈ１２、・・・、ｈ３２の数値によって規定される。
Figure JPOXMLDOC01-appb-M000002
　８個の数値（ｈ１１、ｈ１２、・・・、ｈ３２）は、農業機械１００に取り付けられる撮像装置１２０によって、基準平面Ｒｅ上に置いた校正用ボードを撮影すれば、公知のアルゴリズムを用いて算出することができる。
　基準平面Ｒｅ上の点の座標が（Ｘ，Ｙ，０）の場合、それぞれのカメラの画像平面Ｉｍ１、Ｉｍ２における対応点の座標は、下記の数３および数４の式に示されるように、個々のホモグラフィ変換行列Ｈ１、Ｈ２によって点（Ｘ，Ｙ，０）と対応づけられる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　上記の２式から以下の式が導かれる。この式から明らかなように、変換行列Ｈは、Ｈ２Ｈ１－１に等しい。Ｈ１－１は、Ｈ１の逆行列である。
Figure JPOXMLDOC01-appb-M000005
　変換行列Ｈ１、Ｈ２の中身は、基準平面Ｒｅに依存するため、基準平面Ｒｅの位置が変わると、変換行列Ｈの中身も変化する。
　このようなホモグラフィ変換を利用することにより、第１の姿勢にある撮像装置（農業機械に取り付けられた撮像装置）で取得した地面の画像から、地面の上面視画像を生成することができる。言い換えると、ホモグラフィ変換によれば、撮像装置１２０の画像平面Ｉｍ１上にある任意の点の座標を、基準平面Ｒｅに対して所定の姿勢にある仮想的な撮像装置の画像平面Ｉｍ２上にある点の座標に変換することができる。
　処理装置１２２は、変換行列Ｈの中身を算出した後、上記のアルゴリズムに基づくソフトウェアプログラムを実行することにより、時系列カラー画像、または時系列カラー画像の前処理画像から、地面１０を上方から見た俯瞰画像を生成する。
　なお、前述の説明では、３次元空間内の点（例えば、Ｐ１、Ｐ２）が、いずれも、基準平面Ｒｅ上に位置していると仮定していた（例えば、Ｚ１＝Ｚ２＝０）。作物の基準平面Ｒｅに対する高さが０ではない場合、ホモグラフィ変換後の上面視画像において、対応点の位置は正しい位置からシフトする。シフト量の増加を抑制するためには、基準平面Ｒｅの高さが検出対象である作物の高さに近いことが望ましい。地面１０には、畝、畦、溝などの凹凸が存在している場合がある。そのような場合、基準平面Ｒｅを、このような凹凸の底部から上方に変位させてもよい。変位の距離は、作物が作付けされる地面１０の凹凸に応じて適切に設定され得る。
　また、農業機械１００が地面１０を走行しているとき、車両本体１１０（図１参照）のロールまたはピッチの運動が生じると、撮像装置１２０の姿勢が変化するため、変換行列Ｈ１の中身が変化し得る。このような場合、ＩＭＵによって車両本体１１０のロールおよびピッチの回転角度を計測すれば、撮像装置の姿勢変化に応じて変換行列Ｈ１および変換行列Ｈを補正することができる。
　本実施形態における処理装置１２２は、上述の方法により、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された、地面の上方から見た上面視画像を生成した後、動作Ｓ３を実行する。
　次に、動作Ｓ３を説明する。
　動作Ｓ３では、処理装置１２２が、第１画素の指標値に基づいて、作物列のエッジラインの位置を決定する。具体的には、上面視画像における複数の走査ラインに沿って第１画素（色の指標値が閾値以上の画素）の指標値を積算する。
　図１４は、３本の作物列１２が映る上面視画像４４の例である。この例において、作物列１２の方向が画像垂直方向（ｖ軸方向）に平行である。図１４は、画像垂直方向（ｖ軸方向）に平行な多数の走査ライン（破線）Ｓが示されている。処理装置１２２は、複数の走査ラインＳ上に位置する画素の指標値を、走査ラインＳごとに積算して積算値を得る。
　図１５は、図１４の上面視画像について得られた、走査ラインＳの位置と指標値の積算値との関係（積算値のヒストグラム）を模式的に示す図である。図１５の横軸は、走査ラインＳの、画像水平方向（ｕ軸方向）における位置を示している。上面視画像４４において、走査ラインＳが横切る画素の多くが作物列１２に属する第１画素である場合、その走査ラインＳの積算値は大きくなる。一方、走査ラインＳが横切る画素の多くが作物列１２の間にある中間領域（作業通路）１４に属する第２画素（背景画素）である場合、その走査ラインＳの積算値は小さくなる。なお、本実施形態において、中間領域（作業通路）１４はマスクされており、第２画素の指標値はゼロである。
　図１５のヒストグラムでは、積算値がゼロまたはゼロに近い凹部領域と、これらの凹部領域によって区分される凸部領域が存在する。凹部領域は、中間領域（作業通路）１４に相当し、凸部領域が作物列１２に相当する。本実施形態では、凸部領域における積算値のピークの両側の所定位置、具体的には、積算値のピークに対して所定の割合（例えば６０％以上９０％以下の範囲から選択された値）にある積算値を有する走査ラインＳの位置を作物列１２のエッジラインの位置として決定する。図１５における矢印Ｗの両端は、各作物列１２のエッジラインの位置を示している。なお、図１５の例において、各作物列１２のエッジラインの位置は、各作物列１２の積算値のピークに対して８０％の値を持つ走査ラインＳの位置である。
　本実施形態では、第２画素をマスクしたうえで、各走査ラインＳ上における作物列の色の指標値を積算している。すなわち、第１画素と第２画素の分類に基づいて２値化された上面視画像について、第１画素の個数（画素数）をカウントしているのではない。第１画素の個数をカウントする場合、例えば、落ち葉や雑草などに起因して閾値Ｔｈをわずかに超えるような画素（第１画素に分類される）が多数存在する場合、第１画素のカウント値は増加してしまう。これに対して、本開示の実施形態のように、第１画素の個数ではなく、第１画素の作物列の色の指標値を積算することは、落ち葉や雑草に起因する誤判定を抑制し、作物列検出のロバスト性を向上させる。
　図１６は、作物列１２が斜めに延びている上面視画像４４の例である。図３および図４を参照して説明したように、農業機械１００の向きによっては、撮像装置１２０が取得する画像４０において作物列１２が延びる方向が画像内で右または左に傾斜し得る。そのような画像からホモグラフィ変換によって上面視画像４４を生成すると、図１６の例にように、作物列１２の方向が、画像垂直方向（ｖ軸方向）から傾斜する。
　図１６にも、画像垂直方向（ｖ軸方向）に平行な多数の走査ライン（破線）Ｓが示されている。処理装置１２２が、このような複数の走査ラインＳ上に位置する画素の指標値を、走査ラインＳごとに積算して積算値を得ると、図１７に示すような積算値のヒストグラムが得られる。図１７は、図１６の上面視画像について得られた、走査ラインＳの位置と指標値の積算値との関係を模式的に示す図である。このヒストグラムからは、作物列１２のエッジラインを決定することができない。
　図１８は、走査ラインＳの方向（角度）を変化させることにより、作物列１２の方向に平行な走査ラインＳの方向（角度）を探索する手順の例を示すフローチャートである。
　ステップＳ１０において、走査ラインＳの方向（角度）を設定する。ここでは、画像座標系におけるｕ軸を基準として時計回りの角度をθとする（図１４、図１６参照）。角度θの探索は、範囲を例えば６０～１２０度に設定し、角度刻みを例えば１度に設定することができる。この場合、ステップＳ１では、走査ラインＳの角度θとして、６０、６１、６２、・・・、１１９、１２０度を与える。
　ステップＳ１２では、それぞれの角度θの方向に延びる走査ラインＳ上の画素について指標値を積算し、積算値のヒストグラムを作成する。ヒストグラムは、角度θに応じて、異なる分布を示すことになる。
　ステップＳ１４では、こうして得た複数のヒストグラムから、図１５に示されるような凹凸の境界が急峻であって、作物列１２が中間領域１４から明確に区分されるようなヒストグラムを選択し、そのヒストグラムを生成する走査ラインＳの角度θを求める。
　ステップＳ１６では、ステップＳ１４で求めた角度θに対応するヒストグラムのピーク値から各作物列１２のエッジラインを決定する。前述したように、ピークの例えば０．８倍の積算値を持つ走査ラインＳの位置をエッジラインとして採用し得る。
　なお、走査ラインＳの方向（角度）を探索するとき、探索範囲内で角度θを１度ずつ変化させるごとに、その角度θの走査ラインＳ上における積算値のヒストグラムを作成してもよい。ヒストグラムの波形から特徴量（例えば、凹部の深さ／凸部の高さ、包絡線の微分値など）を算出し、その特徴量に基づいて、作物列１２の方向と走査ラインＳの方向とが平行か否かを判定してもよい。
　なお、角度θを求める方法は、上記の例に限定されない。作物列の延びる方向が測定によって既知である場合、農業機械１００に搭載した慣性計測装置（ＩＭＵ）によって農業機械の方向を測定し、作物列の延びる方向に対する角度θを求めてもよい。
　図１９は、図１２の上面視画像から作成した、積算値ヒストグラムの例を示す図である。中央に位置するヒストグラムの凸部について、そのピーク値の０．８倍の走査ライン位置をエッジラインＥの位置としている。このヒストグラムでは、走査ライン位置が中央から左右に離れるにしたがって、凸部のピークが低くなり、かつ、凸部のピークが拡がっている。これは、図１２の画像から明らかなように、上面視画像の中央では、画像の歪みが少ないのに対して、中央から左右に離れるしたがって、画像の歪みが大きくなっていることや、下辺の両側に位置する黒い三角形領域が積算値を低下させることに起因している。
　作物列の検出を農業機械の走行に利用する場合、正確に検出するべき作物列は、画像の中央、または、その周辺である。そのため、上面視画像における左右両端に近い領域における歪みは無視することができる。
　図２０は、本実施形態における処理装置１２２が実行する一連の処理を示すブロック図である。図２０に示されるように、処理装置１２２は、画像取得３２、強調画像生成３３、作物列抽出３４、およびホモグラフィ変換３５を実行することにより、例えば図１６に示すような上面視画像４４を得ることができる。処理装置１２２は、更に、走査ライン方向決定３６、エッジライン位置決定３７を実行することにより、作物列のエッジラインの位置を得ることができる。この後、処理装置１２２、または、処理装置１２２からエッジラインの位置を示す情報を得た経路生成装置は、エッジラインに基づいて、農業機械の目標経路生成３８を実行することができる。目標経路は、農業機械が備える車輪が、エッジラインＥに挟まれる中間領域（作業通路）１４の中に維持されるように生成され得る。例えば、タイヤの幅方向における中央部が、中間領域（作業通路）１４の両端に位置する２本のエッジラインの中央を通るように目標経路が生成され得る。このような目標経路によれば、農業機械が走行中に目標経路から数センチメール程度外れても、タイヤが作物列に侵入する可能性を低下させることが可能になる。
　本開示の実施形態によれば、順光、逆光、晴天、曇天、霧などの気象条件や作業時間帯によって変化する日照条件の影響を抑制し、高い精度での作物列の検出が可能になることを確認した。また、作物の種類（キャベツ、ブロッコリ、大根、人参、レタス、白菜などの種別）、生育状態（苗から成長した状態まで）、病害有無、落ち葉・雑草の有無、土壌色が変化してもロバスト性の高い作物列の検出が可能になることを確認した。
　なお、上記の実施形態では、二値化の閾値を求め、閾値以上の画素によって作物領域を抽出するステップを行った後、ホモグラフィ変換を実行している。しかし、作物領域を抽出するステップは、ホモグラフィ変換の後に実行してもよい。具体的には、図２０に示される１連の処理において、ホモグラフィ変換３５は、強調画像生成３３と作物列抽出３４との間に実行されてもよいし、画像取得３２と強調画像生成３３との間に実行されてもよい。
　以下、本開示による作物検出システムが実行する他の作物列検出方法の実施形態を説明する。
　図２１は、上面視画像の一部または全部を複数のブロックに分割し、複数のブロックのそれぞれについて、エッジラインの位置を決定する方法を説明するための図である。
　本実施形態において、処理装置１２２は、上面視画像４４の一部または全部を複数のブロックに分割する。そして、複数のブロックのそれぞれについて、作物列１２のエッジラインＥの位置を決定する。図示される例において、３つのブロックＢ１、Ｂ２、Ｂ３が、上面視画像内において、画像水平方向に連続する帯形状を有している。処理装置１２２は、農業機械１００の進行方向とは異なる方向の帯形状に基づいて、作物列のエッジラインを決定することができる。
　図２２は、図２１の上面視画像のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける、走査ラインＳの位置と指標値の積算値との関係（積算値ヒストグラム）を模式的に示す図である。積算を行うときの走査ラインＳは、常に画像垂直方向に平行である。指標値の積算は、ブロック単位で行われ、走査ラインＳの方向（角度）を変える必要はない。走査ラインＳの長さを短縮することにより、作物列１２が斜めに延びていても、中間領域（作業通路）１４に起因する第２画素（背景画素）の領域を適切に検出することが可能になる。このため、走査ラインＳの角度を変化させる必要がなくなる。
　図２２における矢印Ｗの両端は、ブロックＢ１、Ｂ２、Ｂ３のそれぞれで決定された、作物列のエッジラインの位置を示している。図２１に示される例において、作物列１２の方向は、走査ラインＳの方向に対して傾斜している。このため、前述したように、積算値ヒストグラムのピーク値を基準に０．８倍の値を示す走査ライン位置を、作物列１２のエッジラインＥの位置として採用する場合、そのようなエッジラインＥの位置とは、ブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列１２の中央付近を通る「幅」の両端に相当する。
　図２３は、図２２のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列中心Ｗｃを示している。作物列中心Ｗｃは、図２２の積算値ヒストグラムから求めた作物列のエッジラインを規定する矢印Ｗの中心から求められ、各ブロックの画像垂直方向における中央に位置している。図２３には、同一の作物列１２に属する作物列中心Ｗｃに対する近似線１２Ｃの例が示される。近似線１２Ｃは、例えば、各作物列１２の複数の作物列中心Ｗｃから距離（誤差）の二乗平均が最小になるように求められた直線である。このような近似線１２Ｃは、作物列１２の中央を通るラインに相当する。
　図２４は、図２３の近似線１２Ｃから決定した作物列１２のエッジラインＥの例を示す上面図である。この例において、各作物列１２に対応付けられる２本のエッジラインＥは、その間隔が矢印Ｗの長さに等しく、近似線１２Ｃから等距離の位置にある。
　本実施形態によれば、走査ラインの方向（角度）を変化させる必要がなく、より少ない演算量で作物列１２のエッジラインＥを求めることができる。なお、各ブロックの画像垂直方向における長さは、例えば、地面における１～２メートルの距離に相当するように設定され得る。本実施形態では、１つの画像を３つのブロックに分割して積算値ヒストグラムを求めたが、ブロックの個数は４個以上であってもよい。また、ブロックの形状も上記の例に限定されない。ブロックは、上面視画像内において、画像水平方向又は画像垂直方向のいずれかの方向に連続する帯形状を有し得る。処理装置１２２は、農業機械１００の進行方向とは異なる方向に延びる帯形状のブロックに分割すること、作物列のエッジラインを決定することができる。
　図２５は、上面視画像４４の作物列１２が曲線上に曲がる部分を含む様子を模式的に示している。図２６は、図２５の上面視画像４４のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける積算値ヒストグラムを模式的に示している。
　図２７は、図２６のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列中心Ｗｃと、各作物列中心Ｘｃに対する近似線１２Ｃの例を示す図である。この例における近似線１２Ｃは、例えば、各作物列１２の作物列中心Ｗｃからの距離（誤差）の二乗平均が最小になるように求められた曲線（例えば３次曲線などの高次の曲線）である。このような近似線１２Ｃは、曲線部分を有する作物列１２の中央を通る湾曲したラインに相当する。
　図２８は、図２７の近似線から決定した作物列１２のエッジラインＥの例を示す上面図である。エッジラインＥは、図２４を参照して説明した方法と同様の方法で生成される。すなわち、各作物列１２に対応付けられる２本のエッジラインＥは、その間隔が矢印Ｗの長さに等しく、近似線１２Ｃから等距離の位置にある。
　以上、説明してきたように、上面視画像を複数のブロックに分割して、それぞれのブロックで積算値のヒストグラムを生成すれば、作物列の方向を求めることが容易になり、また、作物列の方向が途中で変化していても、その変化した方向を知ることが可能になる。
　上記の作物列検出方法は、いずれも、コンピュータに実装され、コンピュータに所望の動作を実行させることによって実施され得る。
　（実施形態２）
　次に、本開示の作物列検出システムを備える農業機械の実施形態を説明する。
　本実施形態における農業機械は、前述した作物列検出システムを備える。また、この農業機械は、自動操舵運転を実現するための制御を行う制御システムを備える。制御システムは、記憶装置と、制御装置とを備えるコンピュータシステムであり、農業機械の操舵、走行、その他の動作を制御するように構成されている。
　制御装置は、通常の自動操舵動作モードにおいて、測位装置によって農業機械の位置を特定し、前もって生成された目標経路に基づいて、農業機械が目標経路に沿って走行するように農業機械の操舵を制御する。具体的には、作業車両が圃場内を目標経路に沿って走行するように農業機械の操舵輪（例えば前輪）の操舵角を制御する。本実施形態における農業機械は、このような通常の自動操舵モードだけではなく、作物列が設けられた圃場内で「列倣い走行制御」による自動走行を行うように構成された自動操舵装置を備える。
　測位装置は、例えばＧＮＳＳ受信機を有する。このような測位装置は、ＧＮＳＳ衛星からの信号に基づき、作業車両の位置を特定することができる。しかし、作物列が圃場にある場合、仮に測位装置が農業機械の位置を高精度に測定できたとしても、作物列の間は狭く、作物の植えられ方や生育状況によっては、農業機械の車輪などの走行装置が作物列にはみ出す可能性も高くなる。しかし、本実施形態では、前述した作物列検出システムを用いることにより、現実に存在する作物列を検出して、適切な自動操舵を実行することができる。すなわち、本開示の実施形態における農業機械が備える自動操舵装置は、作物列検出システムが決定した作物列のエッジラインの位置に基づいて、操舵輪の操舵角を制御するように構成される。
　また、本実施形態における農業機械では、作物列検出システムの処理装置が、時系列カラー画像に基づいて、作物列のエッジラインと操舵輪との位置関係をモニタすることが可能である。この位置関係から位置誤差信号を生成すれば、農業機械の自動操舵装置が位置誤差信号を小さくするように操舵角を適切に調整することが可能になる。
　図２９は、本実施形態における農業機械１００の外観の例を示す斜視図である。図３０は、作業機３００が装着された状態の農業機械１００の例を模式的に示す側面図である。本実施形態における農業機械１００は、作業機３００が装着された状態の農業用トラクタ（作業車両）である。農業機械１００は、トラクタに限定されず、また作業機３００が装着されている必要もない。本開示における作物列検出の技術は、例えば、畝立、中耕、土寄、除草、追肥、防除などの畝間作業に使用され得る小型管理機、および野菜移植機に用いて優れた効果を発揮することができる。
　本実施形態における農業機械１００は、撮像装置１２０と、測位装置１３０と、障害物センサ１３６とを備える。図２９には１つの障害物センサ１３６が例示されているが、障害物センサ１３６は農業機械１００の複数の箇所に設けられていてもよい。
　図３０に示すように、農業機械１００は、車両本体１１０と、原動機（エンジン）１０２と、変速装置（トランスミッション）１０３とを備える。車両本体１１０には、タイヤ１０４（車輪）と、キャビン１０５とが設けられている。タイヤ１０４は、一対の前輪１０４Ｆと一対の後輪１０４Ｒとを含む。キャビン１０５の内部に運転席１０７、操舵装置１０６、操作端末２００、および操作のためのスイッチ群が設けられている。前輪１０４Ｆおよび後輪１０４Ｒの一方は、タイヤではなくクローラであってもよい。農業機械１００は、４つのタイヤ１０４を駆動輪として備える四輪駆動車であってもよいし、一対の前輪１０４Ｆまたは一対の後輪１０４Ｒを駆動輪として備える二輪駆動車であってもよい。
　本実施形態における測位装置１３０は、ＧＮＳＳ受信機を備える。ＧＮＳＳ受信機は、ＧＮＳＳ衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて農業機械１００の位置を決定する処理回路とを備える。測位装置１３０は、ＧＮＳＳ衛星から送信されるＧＮＳＳ信号を受信し、ＧＮＳＳ信号に基づいて測位を行う。ＧＮＳＳは、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System、例えばみちびき）、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、およびＢｅｉＤｏｕなどの衛星測位システムの総称である。本実施形態における測位装置１３０は、キャビン１０５の上部に設けられているが、他の位置に設けられていてもよい。
　測位装置１３０は、さらに、慣性計測装置（ＩＭＵ）からの信号を利用して位置データを補完することができる。ＩＭＵは、農業機械１００の傾きおよび微小な動きを計測することができる。ＩＭＵによって取得されたデータを用いて、ＧＮＳＳ信号に基づく位置データを補完することにより、測位の性能を向上させることができる。
　図２９および図３０に示す例では、車両本体１１０の後部に障害物センサ１３６が設けられている。障害物センサ１３６は、車両本体１１０の後部以外の部位にも配置され得る。例えば、車両本体１１０の側部、前部、およびキャビン１０５のいずれかの箇所に、１つまたは複数の障害物センサ１３６が設けられ得る。障害物センサ１３６は、農業機械１００の周囲に存在する物体を検出する。障害物センサ１３６は、例えばレーザスキャナまたは超音波ソナーを備え得る。障害物センサ１３６は、障害物センサ１３６から所定の距離よりも近くに物体が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ１３６が農業機械１００の車体の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、車体の異なる位置に配置されていてもよい。そのような多くの障害物センサ１３６を備えることにより、農業機械１００の周囲の障害物の監視における死角を減らすことができる。
　原動機１０２は、例えばディーゼルエンジンである。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置１０３は、変速によって農業機械１００の推進力および移動速度を変化させることができる。変速装置１０３は、農業機械１００の前進と後進とを切り換えることもできる。
　操舵装置１０６は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪１０４Ｆは操舵輪であり、その切れ角（「操舵角」とも称する。）を変化させることにより、農業機械１００の走行方向を変化させることができる。前輪１０４Ｆの操舵角は、ステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪１０４Ｆの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、農業機械１００内に配置された制御装置からの制御により、油圧装置または電動モータの力によって操舵角が自動で調整される。
　車両本体１１０の後部には、連結装置１０８が設けられている。連結装置１０８は、例えば３点支持装置（「３点リンク」または「３点ヒッチ」とも称する。）、ＰＴＯ（Power Take Off）軸、ユニバーサルジョイント、および通信ケーブルを含む。連結装置１０８によって作業機３００を農業機械１００に着脱することができる。連結装置１０８は、例えば油圧装置によって３点リンクを昇降させ、作業機３００の位置または姿勢を制御することができる。また、ユニバーサルジョイントを介して農業機械１００から作業機３００に動力を送ることができる。農業機械１００は、作業機３００を引きながら、作業機３００に所定の作業を実行させることができる。連結装置は、車両本体１１０の前方に設けられていてもよい。その場合、農業機械１００の前方に作業機を接続することができる。
　図３０に示す作業機３００は、例えば、ロータリカルチである。作物列を走行するときにトラクタなどの作業車両に牽引または装着される作業機３００は、畝立、中耕、土寄、除草、追肥、防除などの畝間作業に使用され得るものであれば、任意である。
　図３１は、農業機械１００および作業機３００の概略的な構成の例を示すブロック図である。農業機械１００と作業機３００は、連結装置１０８に含まれる通信ケーブルを介して互いに通信することができる。
　図３１の例における農業機械１００は、撮像装置１２０、測位装置１３０、障害物センサ１３６、操作端末２００に加え、駆動装置１４０、ステアリングホイールセンサ１５０、切れ角センサ１５２、制御システム１６０、通信インタフェース（ＩＦ）１９０、操作スイッチ群２１０、およびブザー２２０を備える。測位装置１３０は、ＧＮＳＳ受信機１３１と、慣性計測装置（ＩＭＵ）１２５とを備える。制御システム１６０は、記憶装置１７０と、制御装置１８０とを備える。制御装置１８０は、複数の電子制御ユニット（ＥＣＵ）１８１から１８６を備える。作業機３００は、駆動装置３４０と、制御装置３８０と、通信インタフェース（ＩＦ）３９０とを備える。なお、図３１には、農業機械１００による自動操舵または自動走行の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。
　測位装置１３０は、ＧＮＳＳを利用して農業機械１００の測位を行う。測位装置１３０がＲＴＫ受信機を備える場合、複数のＧＮＳＳ衛星から送信されるＧＮＳＳ信号に加えて、基準局から送信される補正信号が利用される。基準局は、農業機械１００が走行する圃場の周囲（例えば、農業機械１００から１０ｋｍ以内の位置）に設置され得る。基準局は、複数のＧＮＳＳ衛星から受信したＧＮＳＳ信号に基づいて補正信号を生成し、測位装置１３０に送信する。測位装置１３０におけるＧＮＳＳ受信機１３１は、複数のＧＮＳＳ衛星から送信されるＧＮＳＳ信号を受信する。測位装置１３０は、ＧＮＳＳ信号および補正信号に基づき、農業機械１００の位置を計算することにより、測位を行う。ＲＴＫ－ＧＮＳＳを用いることにより、例えば誤差数ｃｍの精度で測位を行うことが可能である。緯度、経度および高度の情報を含む位置情報が、ＲＴＫ－ＧＮＳＳによる高精度の測位によって取得される。なお、測位方法はＲＴＫ－ＧＮＳＳに限らず、必要な精度の位置情報が得られる任意の測位方法（干渉測位法または相対測位法など）を用いることができる。例えば、ＶＲＳ（Virtual Reference Station）またはＤＧＰＳ（Differential Global Positioning System）を利用した測位を行ってもよい。
　ＩＭＵ１３５は、３軸加速度センサおよび３軸ジャイロスコープを備える。ＩＭＵ１３５は、３軸地磁気センサなどの方位センサを備えていてもよい。ＩＭＵ１３５は、モーションセンサとして機能し、農業機械１００の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。測位装置１３０は、ＧＮＳＳ信号および補正信号に加えて、ＩＭＵ１３５から出力された信号に基づいて、農業機械１００の位置および向きをより高い精度で推定することができる。ＩＭＵ１３５から出力された信号は、ＧＮＳＳ信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。ＩＭＵ１３５は、ＧＮＳＳ信号よりも高い頻度で信号を出力する。その高頻度の信号を利用して、農業機械１００の位置および向きをより高い頻度（例えば、１０Ｈｚ以上）で計測することができる。ＩＭＵ１３５に代えて、３軸加速度センサおよび３軸ジャイロスコープを別々に設けてもよい。ＩＭＵ１３５は、測位装置１３０とは別の装置として設けられていてもよい。
　測位装置１３０は、ＧＮＳＳ受信機１３１およびＩＭＵ１３５に加えて、他の種類のセンサを備えていてもよい。農業機械１００が走行する環境によっては、これらのセンサからのデータに基づいて農業機械１００の位置および向きを高い精度で推定することができる。
　このような測位装置１３０を利用することにより、前述した作物列検出システム１０００によって検出した作物列の地図を作製することも可能である。
　駆動装置１４０は、例えば前述の原動機１０２、変速装置１０３、デフロック機構を含む差動装置、操舵装置１０６、および連結装置１０８などの、農業機械１００の走行および作業機３００の駆動に必要な各種の装置を含む。原動機１０２は、例えばディーゼル機関などの内燃機関を備える。駆動装置１４０は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。
　ステアリングホイールセンサ１５０は、農業機械１００のステアリングホイールの回転角を計測する。切れ角センサ１５２は、操舵輪である前輪１０４Ｆの切れ角を計測する。ステアリングホイールセンサ１５０および切れ角センサ１５２による計測値は、制御装置１８０による操舵制御に利用される。
　記憶装置１７０は、フラッシュメモリまたは磁気ディスクなどの１つ以上の記憶媒体を含む。記憶装置１７０は、各センサ、および制御装置１８０が生成する各種のデータを記憶する。記憶装置１７０が記憶するデータには、農業機械１００が走行する環境内の地図データ、および自動操舵の目標経路のデータが含まれ得る。記憶装置１７０は、制御装置１８０における各ＥＣＵに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体（例えば半導体メモリまたは光ディスク等）または電気通信回線（例えばインターネット）を介して農業機械１００に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
　制御装置１８０は、複数のＥＣＵを含む。複数のＥＣＵは、画像認識用のＥＣＵ１８１、速度制御用のＥＣＵ１８２、ステアリング制御用のＥＣＵ１８３、自動操舵制御用のＥＣＵ１８４、作業機制御用のＥＣＵ１８５、表示制御用のＥＣＵ１８６、およびブザー制御用のＥＣＵ１８７を含む。画像認識用のＥＣＵ１８１は、作物列検出システムの処理装置として機能する。ＥＣＵ１８２は、駆動装置１４０に含まれる原動機１０２、変速装置１０３、およびブレーキを制御することによって農業機械１００の速度を制御する。ＥＣＵ１８３は、ステアリングホイールセンサ１５０の計測値に基づいて、操舵装置１０６に含まれる油圧装置または電動モータを制御することにより、農業機械１００のステアリングを制御する。ＥＣＵ１８４は、測位装置１３０、ステアリングホイールセンサ１５０、および切れ角センサ１５２から出力される信号に基づいて、自動操舵運転を実現するための演算および制御を行う。自動操舵運転中、ＥＣＵ１８４は、ＥＣＵ１８３に操舵角の変更の指令を送る。ＥＣＵ１８３は、当該指令に応答して操舵装置１０６を制御することによって操舵角を変化させる。ＥＣＵ１８５は、作業機３００に所望の動作を実行させるために、連結装置１０８の動作を制御する。ＥＣＵ１８５はまた、作業機３００の動作を制御する信号を生成し、その信号を通信ＩＦ１９０から作業機３００に送信する。ＥＣＵ１８６は、操作端末２００の表示を制御する。ＥＣＵ１８６は、例えば、操作端末２００における表示装置に、圃場のマップ、検出された作物列、マップ中の農業機械１００の位置および目標経路、ポップアップ通知、設定画面などの様々な表示を実現させる。ＥＣＵ１８７は、ブザー２２０による警告音の出力を制御する。
　これらのＥＣＵの働きにより、制御装置１８０は、手動操舵または自動操舵による運転を実現する。通常の自動操舵運転時において、制御装置１８０は、測位装置１３０によって計測または推定された農業機械１００の位置と、記憶装置１７０に記憶された目標経路とに基づいて、駆動装置１４０を制御する。これにより、制御装置１８０は、農業機械１００を目標経路に沿って走行させる。一方、作物列に沿って走行する列倣い走行制御モードでは、画像認識用のＥＣＵ１８１が、検出した作物列から作物列のエッジラインを決定し、このエッジラインに基づく目標経路を生成する。制御装置１８０は、この目標経路に従った動作を実行する。
　制御装置１８０に含まれる複数のＥＣＵは、例えばＣＡＮ（Controller Area Network）などのビークルバス規格に従って、相互に通信することができる。図３１において、ＥＣＵ１８１から１８７のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のＥＣＵによって実現されていてもよい。また、ＥＣＵ１８１から１８７の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置１８０は、ＥＣＵ１８１から１８７以外のＥＣＵを備えていてもよく、機能に応じて任意の個数のＥＣＵが設けられ得る。各ＥＣＵは、１つ以上のプロセッサを含む制御回路を備える。
　通信ＩＦ１９０は、作業機３００の通信ＩＦ３９０と通信を行う回路である。通信ＩＦ１９０は、例えばＩＳＯＢＵＳ－ＴＩＭ等のＩＳＯＢＵＳ規格に準拠した信号の送受信を、作業機３００の通信ＩＦ３９０との間で実行する。これにより、作業機３００に所望の動作を実行させたり、作業機３００から情報を取得したりすることができる。通信ＩＦ１９０は、有線または無線のネットワークを介して外部のコンピュータと通信してもよい。外部のコンピュータは、例えば、圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援する営農支援システムにおけるサーバコンピュータであってもよい。
　操作端末２００は、農業機械１００の走行および作業機３００の動作に関する操作をユーザが実行するための端末であり、バーチャルターミナル（ＶＴ）とも称される。操作端末２００は、タッチスクリーンなどの表示装置、および／または１つ以上のボタンを備え得る。ユーザは、操作端末２００を操作することにより、例えば自動操舵モードのオン／オフの切り替え、クルーズコントロールのオン／オフの切り替え、農業機械１００の初期位置の設定、目標経路の設定、地図の記録または編集、２ＷＤ／４ＷＤの切り替え、デフロックのオン／オフの切り替え、および作業機３００のオン／オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群２１０を操作することによっても実現できる。操作端末２００への表示は、ＥＣＵ１８６によって制御される。
　ブザー２２０は、ユーザに異常を報知するための警告音を発する音声出力装置である。ブザー２２０は、例えば、自動操舵運転時に、農業機械１００が目標経路から所定距離以上逸脱した場合に警告音を発する。ブザー２２０の代わりに、操作端末２００のスピーカによって同様の機能が実現されてもよい。ブザー２２０は、ＥＣＵ１８６によって制御される。
　作業機３００における駆動装置３４０は、作業機３００が所定の作業を実行するために必要な動作を行う。駆動装置３４０は、例えば油圧装置、電気モータ、またはポンプなどの、作業機３００の用途に応じた装置を含む。制御装置３８０は、駆動装置３４０の動作を制御する。制御装置３８０は、通信ＩＦ３９０を介して農業機械１００から送信された信号に応答して、駆動装置３４０に各種の動作を実行させる。また、作業機３００の状態に応じた信号を通信ＩＦ３９０から農業機械１００に送信することもできる。
　以上の実施形態において、農業機械１００は、無人で自動運転を行う作業車両であってもよい。その場合には、キャビン、運転席、ステアリングホイール、操作端末などの、有人運転にのみ必要な構成要素は、農業機械１００に設けられていなくてもよい。無人の作業車両は、自律走行、またはユーザによる遠隔操作によって、前述の各実施形態における動作と同様の動作を実行してもよい。
　実施形態における各種の機能を提供するシステムを、それらの機能を有しない農業機械に後から取り付けることもできる。そのようなシステムは、農業機械とは独立して製造および販売され得る。そのようなシステムで使用されるコンピュータプログラムも、農業機械とは独立して製造および販売され得る。コンピュータプログラムは、例えばコンピュータが読み取り可能な非一時的な記憶媒体に格納されて提供され得る。コンピュータプログラムは、電気通信回線（例えばインターネット）を介したダウンロードによっても提供され得る。
　本開示の技術は、例えば、乗用管理機、野菜移植機、トラクタなどの農業機械に適用することができる。
　１０・・・地面、１２・・・作物列、１４・・・中間領域（作業通路）、４０・・・画像、４２・・・強調画像、４４・・・上面視画像、１００・・・農業機械、１１０・・・車両本体、１２０・・・撮像装置、１２２・・・処理装置、１２４・・・自動操舵装置

Claims (12)

  1. 　農業機械に取り付けられ、前記農業機械が走行する地面を撮影して前記地面の少なくとも一部を含む時系列カラー画像を取得する撮像装置と、
    　前記時系列カラー画像の画像処理を行う処理装置と、
    　を備え、
    　前記処理装置は、
    　前記時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成し、
    　前記強調画像から、前記作物列の色の指標値が閾値以上の第１画素と、前記指標値が前記閾値未満の第２画素とに分類された、前記地面の上方から見た上面視画像を生成し、
    　前記第１画素の前記指標値に基づいて、前記作物列のエッジラインの位置を決定する、
    　作物列検出システム。
  2. 　前記処理装置は、
    　前記上面視画像の複数の走査ラインに沿って前記第１画素の前記指標値を積算して積算値を求め、前記走査ラインの位置と前記積算値とを関連付けたヒストグラムを作成し、
    　前記ヒストグラムに基づいて、前記作物列のエッジラインの位置を決定する、請求項１に記載の作物列検出システム。
  3. 　前記処理装置は、
    　前記ヒストグラムを参照し、前記積算値のピークの両側の所定位置から、前記作物列のエッジラインの位置を決定する、請求項２に記載の作物列検出システム。
  4. 　前記処理装置は、
    　前記上面視画像の一部または全部を複数のブロックに分割して、前記複数のブロックのそれぞれについて、前記エッジラインの位置を決定する、請求項１から３のいずれか１項に記載の作物列検出システム。
  5. 　前記複数のブロックは、前記上面視画像内において、画像水平方向又は前記画像垂直方向のいずれかの方向に連続する帯形状を有し、
    　前記処理装置は、前記農業機械の進行方向とは異なる方向の帯形状に基づいて、前記作物列のエッジラインを決定する請求項４に記載の作物列検出システム。
  6. 　前記処理装置は、前記複数のブロックのそれぞれにおける前記エッジラインの位置に基づいて、前記作物列が延びる方向を決定する、請求項４または５に記載の作物列検出システム。
  7. 　前記上面視画像は、前記地面に沿った基準平面を、前記基準平面の法線方向における真上から見た俯瞰画像であり、
    　前記処理装置は、前記時系列カラー画像、または前記時系列カラー画像の前処理画像から、ホモグラフィ変換によって前記俯瞰画像を生成する、請求項１から６のいずれか１項に記載の作物列検出システム。
  8. 　前記基準平面は、前記作物が作付けされる地面の凹凸に応じて設定された所定の距離だけ、前記地面における前記凹凸の底部から上方に変位している、請求項７に記載の作物列検出システム。
  9. 　前記処理装置は、前記作物列の前記エッジラインの位置に基づいて、目標経路を生成して出力する、請求項１から８のいずれか１項に記載の作物列検出システム。
  10. 　請求項１から９のいずれか１項に記載される作物列検出システムを備える農業機械であって、
    　操舵輪を含む走行装置と、
    　前記作物列検出システムが決定した前記作物列の前記エッジラインの位置に基づいて、前記操舵輪の操舵角を制御する自動操舵装置と、
    を備える、農業機械。
  11. 　前記作物列検出システムの前記処理装置は、前記時系列カラー画像に基づいて、前記作物列の前記エッジラインと前記操舵輪との位置関係をモニタし、位置誤差信号を前記自動操舵装置に与える、請求項１０に記載の農業機械。
  12. 　コンピュータに実装される作物列検出方法であって、
    　農業機械に取り付けられた撮像装置から、前記農業機械が走行する地面を撮影した、前記地面の少なくとも一部を含む時系列カラー画像を取得すること、
    　前記時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成すること、
    　前記強調画像から、前記作物列の色の指標値が閾値以上の第１画素と、前記指標値が前記閾値未満の第２画素とに分類された、前記地面の上方から見た上面視画像を生成すること、
    　前記第１画素の前記指標値に基づいて、前記作物列のエッジラインの位置を決定すること、
    をコンピュータに実行させる、作物列検出方法。
PCT/JP2022/004547 2021-06-29 2022-02-04 作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法 WO2023276226A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020237042729A KR20240007667A (ko) 2021-06-29 2022-02-04 작물열 검출 시스템, 작물열 검출 시스템을 구비하는 농업 기계, 및 작물열 검출 방법
EP22832394.5A EP4335265A1 (en) 2021-06-29 2022-02-04 Crop row detection system, agricultural machine equipped with crop row detection system, and crop row detection method
JP2023531366A JPWO2023276226A1 (ja) 2021-06-29 2022-02-04

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021107919 2021-06-29
JP2021-107919 2021-06-29

Publications (1)

Publication Number Publication Date
WO2023276226A1 true WO2023276226A1 (ja) 2023-01-05

Family

ID=84692236

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004547 WO2023276226A1 (ja) 2021-06-29 2022-02-04 作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法

Country Status (4)

Country Link
EP (1) EP4335265A1 (ja)
JP (1) JPWO2023276226A1 (ja)
KR (1) KR20240007667A (ja)
WO (1) WO2023276226A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620031A (ja) * 1992-06-30 1994-01-28 Kubota Corp 作業領域検出装置
JPH09201110A (ja) * 1996-01-26 1997-08-05 Kubota Corp 作業車の方向検出装置、走行状態表示装置、及び走行制御装置
JPH09224417A (ja) * 1996-02-27 1997-09-02 Kubota Corp 作業車の補助装置
JP2006101816A (ja) * 2004-10-08 2006-04-20 Univ Of Tokyo 操向制御方法及び装置
US20070001096A1 (en) * 2005-07-01 2007-01-04 Jiantao Wei Method and system for vehicular guidance using a crop image
JP2016208871A (ja) 2015-04-30 2016-12-15 国立大学法人 鹿児島大学 作業機及びその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620031A (ja) * 1992-06-30 1994-01-28 Kubota Corp 作業領域検出装置
JPH09201110A (ja) * 1996-01-26 1997-08-05 Kubota Corp 作業車の方向検出装置、走行状態表示装置、及び走行制御装置
JPH09224417A (ja) * 1996-02-27 1997-09-02 Kubota Corp 作業車の補助装置
JP2006101816A (ja) * 2004-10-08 2006-04-20 Univ Of Tokyo 操向制御方法及び装置
US20070001096A1 (en) * 2005-07-01 2007-01-04 Jiantao Wei Method and system for vehicular guidance using a crop image
JP2016208871A (ja) 2015-04-30 2016-12-15 国立大学法人 鹿児島大学 作業機及びその制御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OKAMOTO HIROSHI, SHUN-ICHI HATA, MUNEHIRO TAKAI: "Crop-Row Detector for Row-following Control Systems (part 1); Comparison and Evaluation of Detecting Systems", JOURNAL OF THE JAPANESE SOCIETY OF AGRICULTURAL MACHINERY, vol. 61, no. 6, 1 November 1999 (1999-11-01), pages 159 - 167, XP093018518, DOI: 10.11357/jsam1937.61.6_159 *
OKAMOTO HIROSHI, SHUN-ICHI HATA, MUNEHIRO TAKAI: "Visual Sensor for Crop-Row Following Robot", LECTURE ABSTRACTS OF THE 58TH JAPANESE SOCIETY OF AGRICULTURAL MACHINERY, 1 April 1999 (1999-04-01), pages 231 - 231, XP093018519, DOI: 10.11357/jsam1937.61.Supplement_231 *
PONNAMBALAM VIGNESH RAJA, BAKKEN MARIANNE, MOORE RICHARD J. D., GLENN OMHOLT GJEVESTAD JON, JOHAN FROM PÅL: "Autonomous Crop Row Guidance Using Adaptive Multi-ROI in Strawberry Fields", SENSORS, vol. 20, no. 18, 14 September 2020 (2020-09-14), pages 5249, XP093018520, DOI: 10.3390/s20185249 *

Also Published As

Publication number Publication date
EP4335265A1 (en) 2024-03-13
JPWO2023276226A1 (ja) 2023-01-05
KR20240007667A (ko) 2024-01-16

Similar Documents

Publication Publication Date Title
US8855405B2 (en) System and method for detecting and analyzing features in an agricultural field for vehicle guidance
US7792622B2 (en) Method and system for vehicular guidance using a crop image
US8712144B2 (en) System and method for detecting crop rows in an agricultural field
US7684916B2 (en) Method and system for vehicular guidance using a crop image
CN110243372B (zh) 基于机器视觉的智能农机导航系统及方法
US7570783B2 (en) Method and system for vehicular guidance using a crop image
US8433483B2 (en) Method and system for vehicular guidance with respect to harvested crop
US8737720B2 (en) System and method for detecting and analyzing features in an agricultural field
US7580549B2 (en) Method and system for vehicular guidance using a crop image
CA3233542A1 (en) Vehicle row follow system
JP2006101816A (ja) 操向制御方法及び装置
WO2023276226A1 (ja) 作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法
WO2023276228A1 (ja) 列検出システム、列検出システムを備える農業機械、および、列検出方法
WO2023276227A1 (ja) 列検出システム、列検出システムを備える農業機械、および、列検出方法
WO2024095993A1 (ja) 列検出システム、列検出システムを備える農業機械、および列検出方法
WO2023120182A1 (ja) 農業機械
WO2023120183A1 (ja) 農業機械
WO2023127437A1 (ja) 農業機械
US11981336B2 (en) Vehicle row follow system
US20240130263A1 (en) Row detection system, agricultural machine having a row detection system, and method of row detection
WO2024095802A1 (ja) 走行制御システム、作業車両および走行制御方法
US20210185882A1 (en) Use Of Aerial Imagery For Vehicle Path Guidance And Associated Devices, Systems, And Methods
WO2024004574A1 (ja) 作業車両、制御方法およびコンピュータプログラム
WO2023243514A1 (ja) 作業車両、および作業車両の制御方法
WO2024004575A1 (ja) 作業車両、および作業車両の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22832394

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531366

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022832394

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20237042729

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237042729

Country of ref document: KR

ENP Entry into the national phase

Ref document number: 2022832394

Country of ref document: EP

Effective date: 20231207

WWE Wipo information: entry into national phase

Ref document number: 2301008313

Country of ref document: TH

NENP Non-entry into the national phase

Ref country code: DE