WO2023276228A1 - 列検出システム、列検出システムを備える農業機械、および、列検出方法 - Google Patents

列検出システム、列検出システムを備える農業機械、および、列検出方法 Download PDF

Info

Publication number
WO2023276228A1
WO2023276228A1 PCT/JP2022/004549 JP2022004549W WO2023276228A1 WO 2023276228 A1 WO2023276228 A1 WO 2023276228A1 JP 2022004549 W JP2022004549 W JP 2022004549W WO 2023276228 A1 WO2023276228 A1 WO 2023276228A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
row
agricultural machine
crop
wheels
Prior art date
Application number
PCT/JP2022/004549
Other languages
English (en)
French (fr)
Inventor
隼輔 宮下
透 反甫
充朗 長尾
Original Assignee
株式会社クボタ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クボタ filed Critical 株式会社クボタ
Priority to JP2023531368A priority Critical patent/JPWO2023276228A1/ja
Priority to KR1020237042413A priority patent/KR20240005918A/ko
Priority to EP22832396.0A priority patent/EP4335267A1/en
Publication of WO2023276228A1 publication Critical patent/WO2023276228A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/15—Specific applications of the controlled vehicles for harvesting, sowing or mowing in agriculture or forestry
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/20—Land use
    • G05D2107/21—Farming, e.g. fields, pastures or barns
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals

Definitions

  • the present disclosure relates to row detection systems, agricultural machines with row detection systems, and row detection methods.
  • a vision guidance system is being developed that detects rows of crops (rows of crops) or ridges in a field using an imaging device such as a camera, and controls traveling of work vehicles along the detected rows of crops or ridges. .
  • Patent Document 1 discloses a working machine that travels along ridges in cultivated land where crops are planted on ridges formed in rows.
  • Patent Document 1 describes generating a planar projective transformation image after binarizing an original image obtained by photographing a cultivated land obliquely from above with an in-vehicle camera.
  • Patent Document 1 by rotating a planar projectively transformed image, a large number of rotated images with different orientations are generated to detect a working passage between ridges.
  • the accuracy of detection may decrease due to disturbance factors such as sunshine conditions.
  • the present disclosure provides a row detection system, an agricultural machine including the row detection system, and a row detection method that can solve such problems.
  • a row detection system in an exemplary, non-limiting embodiment, is mounted on an agricultural machine having one or more wheels to photograph the ground on which the agricultural machine travels to capture at least a portion of the ground. and a processing device for detecting columns of the time-series images.
  • the processing device selects a search area for detecting at least one of crop rows and ridges from the time-series images, the search area having a size and shape that includes at least a portion of the one or more wheels. have.
  • An agricultural machine in an exemplary, non-limiting embodiment, is an agricultural machine comprising a row detection system as described above, comprising: a travel gear including steering wheels; and an automatic steering device for controlling the steering angle of the steered wheels based on the position of the ridge.
  • a row detection method in an exemplary, non-limiting embodiment, is a computer-implemented row detection method comprising: from an imaging device attached to an agricultural machine having one or more wheels; obtaining time-series images of the ground on which the machine travels, including at least a portion of the ground, and defining a search area for detecting at least one of rows of crops and ridges from the time-series images as the search area; to have a size and shape that includes at least a portion of said one or more wheels.
  • a generic or specific aspect of the present disclosure can be realized by an apparatus, system, method, integrated circuit, computer program, or computer-readable non-transitory storage medium, or any combination thereof.
  • a computer-readable storage medium may include both volatile and non-volatile storage media.
  • a device may consist of a plurality of devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be divided and arranged in two or more separate devices. .
  • FIG. 2 is a diagram schematically showing how an imaging device attached to an agricultural machine captures an image of the ground
  • FIG. 4 is a perspective view schematically showing the relationship between a body coordinate system ⁇ b and a camera coordinate system ⁇ c fixed with respect to agricultural machinery, and a world coordinate system ⁇ w fixed with respect to the ground.
  • FIG. 2 is a top view schematically showing a portion of a field in which a plurality of rows of crops are provided on the ground
  • 4 is a diagram schematically showing an example of an image acquired by the imaging device of the agricultural machine shown in FIG. 3;
  • FIG. 4 is a top view schematically showing a state in which the position and orientation (angle in the yaw direction) of the agricultural machine are adjusted; 6 is a diagram showing an example of an image acquired by the imaging device of the agricultural machine in the state of FIG. 5;
  • FIG. 1 is a block diagram showing a basic configuration example of a row detection system according to a first embodiment of the present disclosure;
  • FIG. 1 is a block diagram schematically showing a configuration example of a processing device according to a first embodiment of the present disclosure;
  • FIG. It is a monochrome image corresponding to an image of one frame in time-series color images acquired by an on-vehicle camera mounted on a tractor.
  • FIG. 11 is a histogram of the green excess index (ExG) in the image of FIG. 10;
  • FIG. 4 is a diagram showing an example of a top-view image (bird's-eye view image) classified into first pixels (for example, crop pixels) and second pixels (background pixels);
  • FIG. 3 is a perspective view schematically showing the positional relationship between each of the camera coordinate system ⁇ c1 and the camera coordinate system ⁇ c2 and the reference plane Re.
  • FIG. 5 is a schematic diagram showing an example in which the direction of the rows of crops and the direction of the scanning lines in the top view image are parallel; 15 is a diagram schematically showing an example of an integrated value histogram obtained for the top view image of FIG. 14; FIG. FIG. 5 is a schematic diagram showing an example in which the direction of the row of crops and the direction of the scanning line in the top view image intersect; FIG. 17 is a diagram schematically showing an example of an integrated value histogram obtained for the top view image of FIG. 16; 4 is a flow chart illustrating an example algorithm for determining crop row edge lines by a processing device in an embodiment of the present disclosure; FIG. 13 is a diagram showing an integrated value histogram obtained from the top view image of FIG.
  • FIG. 12; 4 is a block diagram showing processing executed by a processing device according to an embodiment of the present disclosure
  • FIG. FIG. 10 is a diagram for explaining how a top view image is divided into a plurality of blocks
  • FIG. 22 is a diagram schematically showing the relationship between the position of a scanning line and the integrated value of index values in each block in FIG. 21
  • FIG. 23 is a diagram showing an example of a crop row center in each block in FIG. 22 and an approximate line for the crop row center
  • FIG. 24 is a top view showing an example of edge lines of crop rows determined based on the approximation lines of FIG.
  • FIG. 26 is a diagram schematically showing the relationship between the position of a scanning line and the integrated value (histogram) of index values in each block in FIG. 25;
  • FIG. 27 is a diagram showing an example of a crop row center in each block in FIG. 26 and an approximate line for the crop row center;
  • FIG. 28 is a top view showing an example of edge lines of crop rows determined based on the approximate curve of FIG. 27;
  • FIG. 26 is a diagram schematically showing the relationship between the position of a scanning line and the integrated value (histogram) of index values in each block in FIG. 25;
  • FIG. 27 is a diagram showing an example of a crop row center in each block in FIG. 26 and an approximate line for the crop row center;
  • FIG. 28 is a top view showing an example of edge lines of crop rows determined based on the approximate curve of FIG. 27;
  • FIG. 4 is a perspective view schematically showing rows of ridges provided on the ground; It is a figure which shows the image acquired at the time t from the imaging device.
  • FIG. 10 is a diagram schematically showing a correspondence relationship of feature points between an image acquired from an imaging device at time t and an image acquired at time t+1;
  • FIG. 4 is a perspective view schematically showing movement of feature points on ridges and intermediate areas (work passages) appearing in an image acquired by an imaging device;
  • FIG. 3 is a diagram schematically showing the relationship between the amount of movement (first amount of movement) of feature points projected onto an image plane and the amount of movement (second amount of movement) of feature points projected onto a reference plane;
  • FIG. 7 is a block diagram showing processing executed by a processing device according to the second embodiment of the present disclosure
  • FIG. 4 is a diagram showing the relationship between the average height of feature points on a scanning line and the position of the scanning line
  • FIG. 11 is a diagram showing a basic configuration example of a row detection system according to a third embodiment of the present disclosure
  • FIG. It is a figure which shows the example of the image which the processing apparatus acquired from the imaging device.
  • Figure 38 shows a portion of the image of Figure 37
  • FIG. 4 is a top view schematically showing part of the ground on which rows of crops are provided;
  • FIG. 4 is a diagram schematically showing the positional relationship between points P3 and P4 included in a portion of the front wheel shown in the image and corresponding points P3' and P4' on the reference plane Re.
  • 1 is a perspective view showing an example of an appearance of an agricultural machine according to an embodiment of the present disclosure
  • FIG. 2 is a side view schematically showing an example of an agricultural machine with a work implement attached
  • It is a block diagram showing an example of a schematic structure of an agricultural machine and a working machine.
  • Agricultural machinery in the present disclosure broadly includes machines that perform basic agricultural work such as “plowing”, “planting”, and “harvesting” in fields.
  • Agricultural machines are machines having functions and structures for performing agricultural work such as tillage, sowing, pest control, fertilization, planting of crops, or harvesting on the ground in a field. These agricultural operations are sometimes referred to as “ground operations” or simply “operations.”
  • the agricultural machine does not need to be equipped with a travel device for moving itself, and may travel by being attached to or towed by another vehicle equipped with a travel device.
  • a work vehicle such as a tractor functions alone as an "agricultural machine”
  • the work machine (implement) attached to or towed by the work vehicle and the work vehicle as a whole can be regarded as one "agricultural machine”. It may work.
  • Examples of agricultural machinery include tractors, riding machines, vegetable transplanters, mowers, and field mobile robots.
  • the row detection system in this embodiment includes an imaging device that is attached to an agricultural machine and used.
  • the imaging device is fixed to the agricultural machine so as to photograph the ground on which the agricultural machine travels and acquire time-series color images including at least a portion of the ground.
  • FIG. 1 schematically shows how an imaging device 120 attached to an agricultural machine 100 such as a tractor or a riding management machine captures an image of the ground 10 .
  • the agricultural machine 100 includes a vehicle body 110 that can travel, and an imaging device 120 is fixed to the vehicle body 110 .
  • FIG. 1 shows a body coordinate system ⁇ b having mutually orthogonal Xb-, Yb-, and Zb-axes.
  • the body coordinate system ⁇ b is a coordinate system fixed to the agricultural machine 100, and the origin of the body coordinate system ⁇ b can be set near the center of gravity of the agricultural machine 100, for example. In the drawing, for ease of viewing, the origin of the body coordinate system ⁇ b is shown as being positioned outside the agricultural machine 100 .
  • the Xb axis coincides with the traveling direction (the direction of arrow F) when the agricultural machine 100 travels straight.
  • the Yb axis coincides with the rightward direction when the positive direction of the Xb axis is viewed from the coordinate origin, and the Zb axis coincides with the vertically downward direction.
  • the imaging device 120 is, for example, an in-vehicle camera having a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the imaging device 120 in this embodiment is, for example, a monocular camera capable of capturing moving images at a frame rate of 3 frames per second (fps) or higher.
  • FIG. 2 is a perspective view schematically showing the relationship between the body coordinate system ⁇ b, the camera coordinate system ⁇ c of the imaging device 120, and the world coordinate system ⁇ w fixed to the ground 10.
  • the camera coordinate system ⁇ c has mutually orthogonal Xc, Yc, and Zc axes
  • the world coordinate system ⁇ w has mutually orthogonal Xw, Yw, and Zw axes.
  • the Xw-axis and Yw-axis of the world coordinate system ⁇ w are on the reference plane Re extending along the ground 10 .
  • the imaging device 120 is attached to a predetermined position of the agricultural machine 100 so as to face a predetermined direction. Therefore, the position and orientation of the camera coordinate system ⁇ c with respect to the body coordinate system ⁇ b are fixed in a known state.
  • the Zc axis of the camera coordinate system ⁇ c is on the camera optical axis ⁇ 1.
  • the camera optical axis ⁇ 1 is inclined from the traveling direction F of the agricultural machine 100 toward the ground 10, and the depression angle ⁇ is greater than 0°.
  • a travel direction F of the agricultural machine 100 is generally parallel to the ground 10 on which the agricultural machine 100 travels.
  • the depression angle ⁇ can be set, for example, within a range of 0° or more and 60° or less. When the position where the imaging device 120 is attached is close to the ground 10, the angle of depression ⁇ may be set to a negative value, in other words, the orientation of the camera optical axis ⁇ 1 may be set to have a positive elevation angle.
  • the body coordinate system ⁇ b and the camera coordinate system ⁇ c translate with respect to the world coordinate system ⁇ w.
  • the body coordinate system ⁇ b and the camera coordinate system ⁇ c may rotate with respect to the world coordinate system ⁇ w.
  • the agricultural machine 100 does not rotate in the pitch and roll directions and moves substantially parallel to the ground 10 .
  • FIG. 3 is a top view schematically showing a portion of a field in which a plurality of rows of crops 12 are provided on the ground 10.
  • the crop row 12 is a row formed by continuously planting crops in one direction on the ground 10 of a field.
  • a crop row 12 is a collection of crops planted on a ridge of a field.
  • the width of the crop row 12 varies as the crop grows.
  • An intermediate region 14 in which no crops are planted exists in a belt shape between adjacent rows of crops 12 .
  • Each intermediate region 14 is a region sandwiched between two opposing edge lines E between two adjacent crop rows 12 .
  • a plurality of crop rows 12 will be formed on one ridge. That is, a plurality of crop rows 12 are formed between rows of ridges.
  • the edge line E of the row of crops 12 located at the edge in the width direction of the ridge serves as the reference for the intermediate region 14 .
  • the intermediate region 14 is located between the edge lines E of the row of crops 12 positioned at the edge in the width direction of the ridge among the edge lines E of the row of crops 12 . Since the intermediate area 14 functions as an area (work passage) through which wheels of the agricultural machine 100 pass, the "intermediate area" may be referred to as a "work passage".
  • the "edge line" of the crop row means a reference line segment (which may include curved lines) for defining the target route when the agricultural machine travels.
  • Such reference line segments can be defined as the ends of a strip-shaped area (working path) through which the wheels of the agricultural machine are allowed to pass.
  • FIG. 3 schematically shows one agricultural machine 100 that is entering a field in which a row of crops 12 is provided.
  • This agricultural machine 100 includes left and right front wheels 104F and left and right rear wheels 104R as traveling devices, and pulls a working machine (implement) 300 .
  • the front wheels 104F are steering wheels.
  • the work paths 14 located on both sides of the one row of crops 12 located in the center are marked with thick dashed arrows L and R, respectively.
  • the front wheels 104F and the rear wheels 104R of the agricultural machine 100 move along the arrows L and R in the working path 14 so as not to step on the crop row 12. required to move along
  • the front wheels 104F and the rear wheels 104R move along the arrows L and R in the work passage 14. It is possible to control the steering/running of the agricultural machine 100 so as to do so. Controlling the steering and running of the agricultural machine 100 based on the edge line E of the row of crops in this way may also be called "row following travel control".
  • FIG. 4 is a diagram schematically showing an example of an image 40 acquired by the imaging device 120 of the agricultural machine 100 shown in FIG.
  • a plurality of rows of crops 12 running parallel on the ground 10 and an intermediate area (working path) 14 theoretically meet at a vanishing point P 0 on the horizon 11 .
  • the reason why the vanishing point P0 is located on the right side of the image 40 is that the running direction F of the agricultural machine 100 is in the direction in which the row of crops 12 extends (the direction parallel to the arrow C), as shown in FIG. This is because it is inclined with respect to
  • the crop row 12 can be accurately detected from such an image 40 and the edge line E of the crop row 12 can be determined by the method described later. be possible. Then, based on the edge line E, a route (target route) along which the agricultural machine 100 should travel can be appropriately generated.
  • automatic steering is used to control the running of the agricultural machine 100 so that the front wheels 104F and the rear wheels 104R of the agricultural machine 100 move along the arrows L and R in the work path 14 (line following running control). becomes possible.
  • a positioning system such as GNSS.
  • FIG. 5 is a top view schematically showing a state in which the position and orientation (angle in the yaw direction) of the agricultural machine 100 are adjusted by steering the agricultural machine 100 so as to reduce the positional error with respect to the target path (arrow C).
  • FIG. 6 is a diagram showing an example of an image 40 acquired by the imaging device 120 of the agricultural machine 100 in such a state.
  • the front wheels 104F and the rear wheels 104R of the agricultural machine 100 in the state of FIG. 5 are positioned on the lines indicated by the arrows L and R in the work passage 14, respectively.
  • the automatic steering device in the agricultural machine 100 controls the front wheels 104F and the rear wheels 104R so as not to deviate from the working path 14. to control the steering angle of the
  • a row detection system 1000 includes, as shown in FIG.
  • the processor 122 may be connected, for example, to an autopilot 124 included in the agricultural machine 100 .
  • the automatic steering device 124 is included in, for example, an automatic driving device that controls travel of the agricultural machine 100 .
  • the processing device 122 can be realized by an electronic control unit (ECU) for image recognition.
  • the ECU is an in-vehicle computer.
  • the processing device 122 is connected to the imaging device 120 by a serial signal line such as a wire harness so as to receive image data output by the imaging device 120 .
  • a part of the image recognition processing executed by the processing device 122 may be executed inside the imaging device 120 (inside the camera module).
  • FIG. 8 is a block diagram showing a hardware configuration example of the processing device 122.
  • the processing device 122 includes a processor 20 , a ROM (Read Only Memory) 22 , a RAM (Random Access Memory) 24 , a communication device 26 and a storage device 28 . These components are interconnected via bus 30 .
  • Processor 20 is a semiconductor integrated circuit and is also referred to as a central processing unit (CPU) or microprocessor.
  • Processor 20 may include an image processing unit (GPU).
  • the processor 20 sequentially executes a computer program describing a predetermined group of instructions stored in the ROM 22 to implement the processing required for column detection of the present disclosure.
  • a part or all of the processor 20 is an FPGA (Field Programmable Gate Array) with a CPU, ASIC (Application Specific Integrated Circuit), or ASSP (Application Specific Standard Product).
  • the communication device 26 is an interface for data communication between the processing device 122 and an external computer.
  • the communication device 26 can perform wired communication such as CAN (Controller Area Network), or wireless communication conforming to the Bluetooth (registered trademark) standard and/or the Wi-Fi (registered trademark) standard.
  • the storage device 28 can store images acquired from the imaging device 120 or image data in the middle of processing.
  • Examples of storage device 28 include a hard disk drive or non-volatile semiconductor memory.
  • the hardware configuration of the processing device 122 is not limited to the above example. Some or all of processing device 122 need not be installed on agricultural machine 100 . By using the communication device 26, one or more computers located outside the agricultural machine 100 can function as part or all of the processing device 122. FIG. For example, a networked server computer may function as part or all of processing unit 122 . On the other hand, a computer mounted on agricultural machine 100 may perform all functions required of processing device 122 .
  • such a processing device 122 acquires time-series color images from the imaging device 120 and performs operations S1, S2, and S3 described below.
  • S1 Generate an enhanced image in which the color of the row of crops to be detected is enhanced from the time-series color images.
  • S2 Generating a top view image of the ground viewed from above, in which the first pixels having the index value of the color of the row of crops equal to or larger than the threshold value and the second pixels having the index value smaller than the threshold value are classified from the enhanced image. do.
  • S3 determining the position of the edge line of the crop row based on the index value of the first pixel;
  • a time-series color image is a collection of images acquired by the imaging device 120 in a time-series manner. Each image is composed of a group of pixels in frame units. For example, if the imaging device 120 outputs images at a frame rate of 30 frames/second, the processing device 122 may acquire new images at intervals of approximately 33 milliseconds.
  • the speed at which the agricultural machine 100 such as a tractor travels in a field is relatively low compared to the speed of general automobiles traveling on public roads, and can be, for example, about 10 kilometers per hour or less. At 10 kilometers per hour, the distance traveled in about 33 milliseconds is about 6 centimeters.
  • the processing device 122 may acquire images at intervals of, for example, 100 to 300 milliseconds, and does not need to process all frame images captured by the imaging device 120 .
  • the acquisition cycle of images to be processed by the processing device 122 may be automatically changed by the processing device 122 according to the traveling speed of the agricultural machine 100 .
  • FIG. 9 shows images corresponding to one frame of image 40 in time-series color images acquired by an imaging device (a monocular camera in this example) mounted on the agricultural machine.
  • the image in FIG. 9 shows rows of crops (rows of crops) planted in rows on the ground of a field.
  • rows of crops are arranged substantially parallel and evenly spaced on the ground, and the camera optical axis of the imaging device faces the direction of travel of the agricultural machine.
  • the camera optical axis need not be parallel to the traveling direction of the agricultural machine, and may be incident on the ground ahead of the traveling direction of the agricultural machine.
  • the mounting position of the imaging device is not limited to this example. When a plurality of imaging devices are attached to the agricultural machine, some of the imaging devices may face the camera optical axis in the direction opposite to the direction of travel or in the direction crossing the direction of travel.
  • the processing device 122 in FIG. 7 generates an image (enhanced image) in which the color of the crop row to be detected is enhanced, based on the time-series color images acquired from the imaging device 120 .
  • Crops have chlorophyll (chlorophyll) in order to receive sunlight (white light) and perform photosynthesis. Chlorophyll absorbs less green light than red and blue light. Therefore, the spectrum of sunlight reflected by crops exhibits relatively high values in the green wavelength range compared to the spectrum of sunlight reflected by the soil surface. As a result, crop color generally has a high green component and the "crop row color” is typically green. However, as will be described later, the "crop row color” is not limited to green.
  • the image sensor in the imaging device 120 has a large number of photodetection cells arranged in rows and columns.
  • Each photodetector cell corresponds to a picture element (pixel) that constitutes an image, and includes an R sub-pixel that detects the intensity of red light, a G sub-pixel that detects the intensity of green light, and an intensity of blue light. , including B sub-pixels for detecting .
  • the output of light detected by the R sub-pixel, G sub-pixel, and B sub-pixel in each photodetector cell will be called the R value, G value, and B value, respectively.
  • the R value, G value, and B value may be collectively referred to as "pixel value" or "RGB value”.
  • RGB value RGB value
  • the enhanced image in which the color of the row of crops is emphasized means that the RGB value of each pixel in the color image acquired by the imaging device is set to a relatively large weight of the G value.
  • This is an image converted into pixel values.
  • Such conversion of pixel values for generating an enhanced image is defined, for example, as "(2 ⁇ G value ⁇ R value ⁇ B value)/(R value+G value+B value)".
  • the denominator (R value+G value+B value) is a factor for normalization.
  • rgb R value / (R value + G value + B value)
  • g G value / (R value + G value + B value)
  • b B value / (R value + G value + B value).
  • ExG Excess Green Index
  • FIG. 10 is a diagram showing an enhanced image 42 obtained by converting the RGB values in the image of FIG. 9 into "2 ⁇ grb".
  • FIG. 10 pixels in which "r+b” is relatively small compared to g are displayed brightly, and pixels in which "r+b” is relatively large compared to g are displayed darkly.
  • an image (enhanced image) 42 in which the color (in this example, "green") of the crop rows to be detected is enhanced is obtained.
  • the brighter pixels in the image of FIG. 10 are pixels with a relatively large green component and belong to crop regions.
  • NDVI Normalized Difference Vegetation Index
  • each row of crop rows may be covered with a mulching sheet called "mulch.”
  • the "color of the crop row” is "the color of the objects arranged in a row over the crop”. Specifically, when the color of the sheet is black, which is an achromatic color, the "crop row color” means “black.” Also, if the color of the sheet is red, the “color of the crop row” means “red”. Thus, the "color of the crop row” means not only the color of the crop itself but also the color of the area defining the crop row (a color distinguishable from the color of the soil surface).
  • the HSV color space is a color space composed of three components of hue (Hue), saturation (Saturation), and lightness (Value).
  • hue Hue
  • saturation saturation
  • Value lightness
  • the processing unit 122 In operation S2, the processing unit 122 generates a top view image classified from the enhanced image 42 into first pixels having a crop row color index value equal to or greater than a threshold and second pixels having an index value less than the threshold. do.
  • a top view image is an image viewed from above the ground.
  • FIG. 11 is a histogram of the green excess index (ExG) in the enhanced image 42 of FIG. The horizontal axis of the histogram is the green excess index (ExG), and the vertical axis is the number of pixels in the image (corresponding to frequency of occurrence).
  • FIG. 11 shows a dashed line indicating the threshold Th calculated by the discriminant analysis algorithm. Pixels of the enhanced image 42 are classified into two classes by this threshold Th.
  • the occurrence frequency of pixels whose green excess index (ExG) is equal to or greater than the threshold is shown, and these pixels are estimated to belong to the crop class.
  • the occurrence frequency of pixels whose green excess index (ExG) is less than the threshold is shown, and these pixels are considered to belong to the crop class such as soil. Presumed.
  • the first pixel which is the pixel whose index value is greater than or equal to the threshold value, corresponds to the "crop pixel”.
  • the second pixels whose index values are less than the threshold correspond to "background pixels".
  • the background pixels correspond to objects other than the object to be detected, such as the surface of the soil, and the aforementioned intermediate region (working passage) 14 may be constituted by the background pixels.
  • the threshold determination method is not limited to the above example, and the threshold may be determined using, for example, another method using machine learning.
  • the detection target area can be extracted from the enhanced image 42. Further, by giving "zero” to the pixel value of the "second pixel” or removing the data of the second pixel from the image data, it is possible to mask the area other than the detection target. When determining the area to be masked, processing may be performed to include pixels locally showing a high value of the green excess index (ExG) as noise in the mask area.
  • ExG green excess index
  • FIG. 12 is a diagram showing an example of a top view image 44 viewed from above the ground, classified into first pixels and second pixels.
  • a top-view image 44 in FIG. 12 is an image created from the enhanced image 42 in FIG. 10 by an image conversion technique, which will be described later.
  • the second pixels whose crop row color index value (in this example, the green excess index) is less than the threshold Th are black pixels (pixels whose lightness is set to zero).
  • the area formed by the second pixels is mainly the area where the surface of the soil on the ground can be seen.
  • black triangular areas exist at the left and right corners that are in contact with the lower side.
  • This triangular area corresponds to the area that was not shown in the enhanced image 42 of FIG.
  • a phenomenon is observed in which a line that should be straight is distorted at the periphery of the image.
  • image distortion is caused by the performance of the camera's lens and can be corrected using the camera's intrinsic parameters.
  • Processing such as crop area enhancement, masking, and distortion correction can be referred to as preprocessing.
  • Preprocessing may include processing other than such processing.
  • a top-view image 44 in FIG. 12 is a bird's-eye view image of the reference plane Re parallel to the ground viewed from directly above in the normal direction of the reference plane Re.
  • This bird's-eye view image can be generated from the enhanced image 42 of FIG. 10 by homography transformation (planar projective transformation).
  • a homographic transformation is a type of geometric transformation that can transform a point on one plane in three-dimensional space to a point on any other plane.
  • FIG. 13 shows the positional relationship between the camera coordinate system ⁇ c1 of the imaging device in the first orientation (position and orientation: pose) and the camera coordinate system ⁇ c2 of the imaging device in the second orientation, and the reference plane Re.
  • the camera coordinate system ⁇ c1 is tilted so that its Zc axis obliquely intersects the reference plane Re.
  • the imaging device in the first posture corresponds to the imaging device attached to the agricultural machine.
  • the Zc axis of the camera coordinate system ⁇ c2 is orthogonal to the reference plane Re.
  • the camera coordinate system ⁇ c2 is arranged such that the reference plane Re can be obtained as a bird's-eye view image viewed from directly above in the normal direction of the reference plane Re.
  • a virtual image plane Im1 exists at a position separated by the focal length of the camera on the Zc axis from the origin O1 of the camera coordinate system ⁇ c1.
  • the image plane Im1 is orthogonal to the Zc axis and the camera optical axis ⁇ 1.
  • a pixel position on the image plane Im1 is defined by an image coordinate system having mutually orthogonal u and v axes.
  • the coordinates of points P1 and P2 located on the reference plane Re are (X1, Y1, Z1) and (X2, Y2, Z2), respectively, in the world coordinate system ⁇ w.
  • the reference plane Re is set so as to extend along the ground.
  • Points P1 and P2 on the reference plane Re are transformed into points p1 and p2 on the image plane Im1 of the imaging device in the first posture, respectively, by perspective projection of the pinhole camera model.
  • points p1 and p2 are located at pixel locations indicated by coordinates (u1, v1) and (u2, v2), respectively.
  • a virtual image plane Im2 exists at a position separated by the focal length of the camera on the Zc axis from the origin O2 of the camera coordinate system ⁇ c2.
  • the image plane Im2 is parallel to the reference plane Re.
  • a pixel position on the image plane Im2 is defined by an image coordinate system having mutually orthogonal u * and v * axes.
  • Points P1 and P2 on the reference plane Re are transformed into points p1 * and p2 * , respectively, on the image plane Im2 by perspective projection.
  • points p1 * and p2 * are located at pixel locations indicated by coordinates (u1 * , v1 * ) and (u2 * , v2 * ), respectively.
  • homography Given the positional relationship of the camera coordinate systems ⁇ c1 and ⁇ c2 with respect to the reference plane Re (world coordinate system ⁇ w), homography transforms an arbitrary point (u, v) on the image plane Im1 to correspond on the image plane Im2. We can find the point (u * , v * ) where Such a homography transformation is defined by a transformation matrix H of 3 rows ⁇ 3 columns when coordinates of points are expressed in a homogeneous coordinate system.
  • the contents of the transformation matrix H are defined by the numerical values of h 11 , h 12 , . . . , h 32 as shown below.
  • the contents of the transformation matrices H1 and H2 depend on the reference plane Re, so when the position of the reference plane Re changes, the contents of the transformation matrix H also change.
  • the homography transformation it is possible to generate a top view image of the ground from an image of the ground acquired by the imaging device in the first posture (the imaging device attached to the agricultural machine).
  • the coordinates of an arbitrary point on the image plane Im1 of the imaging device 120 are converted to the image plane Im2 of a virtual imaging device in a predetermined orientation with respect to the reference plane Re. Can be converted to point coordinates.
  • the processing device 122 executes a software program based on the above algorithm to obtain a view of the ground 10 from above from the time-series color images or the preprocessed images of the time-series color images. generates a bird's-eye view image.
  • the ground 10 may have irregularities such as ridges, ridges, and grooves. In such cases, the reference plane Re may be displaced upwards from the bottom of such irregularities. The displacement distance can be appropriately set according to the unevenness of the ground 10 on which the crops are planted.
  • the posture of the image pickup device 120 changes, so the content of the transformation matrix H1 changes. can.
  • the rotation angles of roll and pitch of the vehicle body 110 are measured by the IMU, the transformation matrix H1 and the transformation matrix H can be corrected according to the posture change of the imaging device.
  • the processing device 122 in this embodiment classifies the first pixels having the index value of the color of the row of crops above the threshold value and the second pixels having the index value less than the threshold value from above the ground by the above-described method. After generating the seen top view image, operation S3 is performed.
  • the processing unit 122 determines the position of the edge line of the crop row based on the index value of the first pixel. Specifically, the index values of the first pixels (pixels whose color index value is equal to or greater than a threshold value) are integrated along a plurality of scanning lines in the top view image.
  • FIG. 14 is an example of a top view image 44 in which three crop rows 12 are shown.
  • the crop row 12 direction is parallel to the image vertical direction (v-axis direction).
  • FIG. 14 shows a large number of scanning lines (broken lines) S parallel to the image vertical direction (v-axis direction).
  • the processing device 122 integrates index values of pixels positioned on a plurality of scanning lines S for each scanning line S to obtain an integrated value.
  • FIG. 15 is a diagram schematically showing the relationship (histogram of integrated values) between the positions of the scanning lines S and the integrated values of the index values obtained for the top view image of FIG.
  • the horizontal axis of FIG. 15 indicates the position of the scanning line S in the image horizontal direction (u-axis direction).
  • the integrated value of the scanning line S is large.
  • the second pixels (background pixels) belonging to the intermediate area (work path) 14 between the crop rows 12 the integrated value for that scan line S will be small. Note that in this embodiment the intermediate region (working path) 14 is masked and the index value for the second pixel is zero.
  • recessed areas where the integrated value is zero or close to zero, and convex areas separated by these recessed areas.
  • the recessed area corresponds to the intermediate area (working aisle) 14 and the raised area corresponds to the crop row 12 .
  • predetermined positions on both sides of the peak of the integrated value in the convex region specifically, a predetermined ratio (for example, 60 % or more and 90% or less) is determined as the position of the edge line of the crop row 12 .
  • Both ends of the arrow W in FIG. 15 indicate the position of the edge line of each crop row 12 .
  • the position of the edge line of each crop row 12 is the position of the scanning line S having a value that is 80% of the peak integrated value of each crop row 12 .
  • the index values of the color of the crop row on each scanning line S are integrated. That is, the number of first pixels (the number of pixels) is not counted for the binarized top view image based on the classification of the first pixels and the second pixels.
  • the count value of the first pixel is increases.
  • accumulating the index value of the color of the crop row of the first pixels instead of the number of the first pixels suppresses erroneous determination due to fallen leaves and weeds. , to increase the robustness of column detection.
  • FIG. 16 is an example of a top view image 44 in which the crop row 12 extends obliquely.
  • the direction in which crop row 12 extends in image 40 acquired by imaging device 120 may be slanted to the right or left in the image.
  • the direction of the crop row 12 is inclined from the image vertical direction (v-axis direction) as in the example of FIG.
  • FIG. 16 also shows a large number of scanning lines (broken lines) S parallel to the image vertical direction (v-axis direction).
  • the processor 122 integrates the index values of the pixels located on the plurality of scanning lines S for each scanning line S to obtain an integrated value
  • a histogram of integrated values as shown in FIG. 17 is obtained.
  • FIG. 17 is a diagram schematically showing the relationship between the position of the scanning line S and the integrated value of the index values obtained for the top view image of FIG. From this histogram the edge lines of the crop row 12 cannot be determined.
  • FIG. 18 is a flowchart showing an example of a procedure for searching for the direction (angle) of the scanning line S parallel to the direction of the crop row 12 by changing the direction (angle) of the scanning line S.
  • step S10 the direction (angle) of the scanning line S is set.
  • the clockwise angle is ⁇ with respect to the u-axis in the image coordinate system (see FIGS. 14 and 16).
  • the search for the angle ⁇ can be set to a range of, for example, 60 to 120 degrees and an angle step of, for example, 1 degree.
  • the angle ⁇ of the scanning line S is given as 60, 61, 62, .
  • step S12 index values are integrated for pixels on the scanning line S extending in the direction of each angle ⁇ , and a histogram of integrated values is created. The histogram will show different distributions depending on the angle ⁇ .
  • step S14 from the plurality of histograms obtained in this way, a histogram is selected in which the boundaries of the unevenness are steep and the crop row 12 is clearly separated from the intermediate region 14 as shown in FIG. Find the angle ⁇ of the scan line S that produces .
  • step S16 the edge line of each crop row 12 is determined from the peak value of the histogram corresponding to the angle ⁇ obtained in step S14.
  • the position of the scan line S having an integrated value of, for example, 0.8 times the peak can be taken as the edge line.
  • a histogram of integrated values on the scanning line S at that angle ⁇ may be created.
  • a characteristic quantity for example, depth of recess/height of convex portion, envelope differential value, etc. is calculated from the waveform of the histogram, and the direction of the crop row 12 and the direction of the scanning line S are determined based on the characteristic quantity. are parallel or not.
  • the method for obtaining the angle ⁇ is not limited to the above example. If the direction in which the crop row extends is known by measurement, the orientation of the agricultural machine may be measured by an inertial measurement unit (IMU) mounted on the agricultural machine 100 to determine the angle ⁇ with respect to the direction in which the crop row extends.
  • IMU inertial measurement unit
  • FIG. 19 is a diagram showing an example of an integrated value histogram created from the top view image of FIG.
  • the position of the edge line E is the position of the scanning line that is 0.8 times the peak value of the convex portion of the histogram located in the center.
  • the peak of the convex portion becomes lower and the peak of the convex portion spreads.
  • the distortion of the image is small at the center of the top view image, whereas the distortion of the image increases as it moves away from the center to the left and right. This is due to the fact that the black triangular areas located on both sides lower the integrated value.
  • the crop row that should be accurately detected is the center or periphery of the image. Therefore, distortion in regions near the left and right ends of the top view image can be ignored.
  • FIG. 20 is a block diagram showing a series of processes executed by the processing device 122 in this embodiment.
  • the processor 122 performs image acquisition 32, enhanced image generation 33, crop row extraction 34, and homography transformation 35 to generate a top view image 44, such as that shown in FIG. Obtainable.
  • Processing unit 122 may also perform scanline orientation determination 36 and edgeline location determination 37 to obtain the location of the edgelines of the crop row.
  • the processing device 122 or the path generation device that obtains the information indicating the position of the edge line from the processing device 122 can perform the target path generation 38 of the agricultural machine based on the edge line.
  • the target path can be generated in such a way that the wheels of the agricultural machine are kept in the intermediate area (workpath) 14 between the edge lines E.
  • the target path can be generated so that the central portion of the tire in the width direction passes through the middle of two edge lines positioned at both ends of the intermediate region (working passage) 14 . According to such a target route, even if the agricultural machine deviates from the target route by several centimeters during travel, it is possible to reduce the possibility that the tires will enter the crop row.
  • the embodiments of the present disclosure it is possible to suppress the effects of weather conditions such as front light, backlight, fine weather, cloudy weather, and fog, and sunlight conditions that change depending on the working hours, and to detect crop rows with high accuracy. It was confirmed.
  • the crop type cabbage, broccoli, radish, carrot, lettuce, Chinese cabbage, etc.
  • growth state from seedling to mature state
  • presence of disease presence of fallen leaves/weeds
  • robustness even when soil color changes
  • the homography transformation is performed after the step of obtaining the threshold value for binarization and extracting the crop area using pixels equal to or higher than the threshold value.
  • the step of extracting crop regions may be performed after the homography transformation.
  • homography transformation 35 may be performed between enhanced image generation 33 and crop row extraction 34, or between image acquisition 32 and enhanced image generation 33. may be performed between
  • FIG. 21 is a diagram for explaining a method of dividing part or all of the top view image into a plurality of blocks and determining the position of the edge line for each of the plurality of blocks.
  • the processing device 122 divides part or all of the top view image 44 into a plurality of blocks. Then, the position of the edge line E of the crop row 12 is determined for each of the plurality of blocks. In the illustrated example, three blocks B1, B2, and B3 have a belt shape continuous in the horizontal direction of the image in the top view image. The processing device 122 can determine the edge line of the crop row based on the band shape in a direction different from the traveling direction of the agricultural machine 100 .
  • FIG. 22 is a diagram schematically showing the relationship (integrated value histogram) between the position of the scanning line S and the integrated value of the index values in each of the blocks B1, B2, and B3 of the top view image in FIG.
  • the scanning line S when performing integration is always parallel to the image vertical direction.
  • the index values are integrated block by block, and the direction (angle) of the scanning line S does not need to be changed.
  • By shortening the length of the scanning line S it is possible to appropriately detect the area of the second pixels (background pixels) caused by the intermediate area (working path) 14 even if the crop row 12 extends obliquely. become. Therefore, there is no need to change the angle of the scanning line S.
  • Both ends of the arrow W in FIG. 22 indicate the positions of the crop row edge lines determined in each of the blocks B1, B2, and B3.
  • the crop row 12 direction is slanted with respect to the scan line S direction. For this reason, as described above, when a scanning line position showing a value 0.8 times the peak value of the integrated value histogram as a reference is adopted as the position of the edge line E of the crop row 12, such an edge line E corresponds to both ends of the "width" passing near the center of the crop row 12 in each of the blocks B1, B2, and B3.
  • FIG. 23 shows the crop row center Wc in each of blocks B1, B2, and B3 in FIG.
  • the crop row center Wc is obtained from the center of the arrow W that defines the edge line of the crop row obtained from the integrated value histogram in FIG. 22, and is located at the center of each block in the image vertical direction.
  • FIG. 23 shows an example of the approximation line 12C for the crop row center Wc belonging to the same crop row 12.
  • the approximation line 12C is, for example, a straight line obtained so as to minimize the root mean square distance (error) from the plurality of crop row centers Wc of each crop row 12 .
  • Such an approximation line 12C corresponds to a line passing through the center of the crop row 12.
  • FIG. 23 shows the crop row center Wc in each of blocks B1, B2, and B3 in FIG.
  • the crop row center Wc is obtained from the center of the arrow W that defines the edge line of the crop row obtained from the integrated value histogram in FIG. 22, and is located at the
  • FIG. 24 is a top view showing an example of the edge line E of the row of crops 12 determined from the approximation line 12C of FIG.
  • the two edge lines E associated with each crop row 12 are spaced equal to the length of the arrow W and equidistant from the approximation line 12C.
  • the edge line E of the crop row 12 can be obtained with a smaller amount of calculation without changing the direction (angle) of the scanning line.
  • the length of each block in the image vertical direction can be set to correspond to a distance of 1 to 2 meters on the ground, for example.
  • one image is divided into three blocks to obtain the integrated value histogram, but the number of blocks may be four or more.
  • the shape of the block is not limited to the above example.
  • a block can have a strip shape that is continuous in either the horizontal direction of the image or the vertical direction of the image in the top view image.
  • the processing device 122 can divide the crop into belt-shaped blocks extending in a direction different from the traveling direction of the agricultural machine 100 and determine the edge line of the row of crops.
  • FIG. 25 schematically shows how the crop row 12 of the top view image 44 includes a curved portion.
  • FIG. 26 schematically shows integrated value histograms in each of blocks B1, B2, and B3 of the top view image 44 of FIG.
  • FIG. 27 is a diagram showing an example of the crop row center Wc in each of the blocks B1, B2, and B3 in FIG. 26 and the approximation line 12C for each crop row center Xc.
  • the approximation line 12C in this example is, for example, a curve obtained so as to minimize the root mean square of the distance (error) of each crop row 12 from the crop row center Wc (for example, a higher-order curve such as a cubic curve). is.
  • Such approximate line 12C corresponds to a curved line passing through the center of crop row 12 having curved portions.
  • FIG. 28 is a top view showing an example of the edge line E of the row of crops 12 determined from the approximation line of FIG.
  • Edge line E is generated in a manner similar to that described with reference to FIG. That is, the two edge lines E associated with each row of crops 12 are spaced equal to the length of the arrow W and equidistant from the approximation line 12C.
  • the top view image is divided into a plurality of blocks and a histogram of integrated values is generated for each block, it becomes easier to determine the direction of the crop row, and the direction of the crop row can be easily obtained. Even if the direction changes on the way, it is possible to know the changed direction.
  • Any of the above column detection methods can be implemented by being implemented in a computer and causing the computer to perform desired operations.
  • Embodiment 2 A row detection system and row detection method are described in a second exemplary embodiment of the present disclosure. In this embodiment, ridge detection is performed as “row detection”.
  • FIG. 29 is a perspective view schematically showing rows of ridges 16 provided on the ground 10.
  • FIG. A "ridge" is a place where plants are planted for streaking or streaking, and is a convex portion that extends in a substantially straight line, with soil piled high at intervals.
  • the cross-sectional shape of the ridges 16, perpendicular to the direction in which the ridges 16 extend, can be generally trapezoidal, semicylindrical, or semicircular.
  • a ridge 16 having a trapezoidal cross-section is schematically depicted. Real ridges do not have a simple shape as shown in FIG.
  • Between two adjacent ridges 16 is an intermediate region 14, called a ridge.
  • the intermediate area 14 functions as a working passageway.
  • the ridges 16 may be planted with crops or may be unplanted, with only the soil exposed as a whole. Also, each of the ridges 16 may be covered with mulch.
  • the height, width and spacing of the ridges 16 do not need to be uniform and may vary from place to place.
  • the height of the ridges 16 is generally the difference in height between the ridges.
  • the “height” of the ridges 16 is defined by the distance from the reference plane Re described above to the top surface of each ridge 16 .
  • the edge lines of the ridges 16 are clear. However, since the actual ridge 16 is a part of the ground 10 that is continuous from the intermediate region 14, and the "cross-sectional shape" of the ridge 16 varies as described above, the boundary between the ridge 16 and the intermediate region 14 is Not always clear.
  • the edge lines of the ridges 16, i.e., the boundaries between the ridges 16 and the intermediate regions 14, are located on both sides of the peak of each ridge 16 and have a height that is a predetermined percentage of the peak. defined as a position. The position of the edge line is, for example, 0.8 times the height of the peak of each ridge 16 .
  • the row detection system 1000 also includes an imaging device 120 and a processing device 122 that performs image processing on the time-series color images acquired from the imaging device 120, as shown in FIG.
  • the hardware configuration of the processing device 122 is the same as the configuration of the processing device 122 in the first embodiment.
  • the processing device 122 acquires time-series images from the imaging device 120, and executes the following operations S21, S22, and S23.
  • Each of the plurality of feature points is perspectively projected from the image plane onto a reference plane corresponding to the ground, and a second movement amount of each projection point within the reference plane is obtained based on the first movement amount.
  • operation S21 will be described.
  • operation S11 from a plurality of images acquired at different times of the time-series images, a first movement amount within the image plane is obtained for each of the plurality of feature points by feature point matching.
  • a time-series image is a collection of images acquired in time-series by imaging by the imaging device 120 .
  • the time-series images need not be color images, but may be color images.
  • the processing device 122 may grayscale the color images to be processed of the time-series color images.
  • each image is composed of pixel groups in units of frames.
  • the frame rate is also the same as described in the first embodiment.
  • FIG. 30 is an image 40(t) of one frame in time-series images acquired at time t by the imaging device (monocular camera in this example) 122 mounted on the agricultural machine 100 .
  • the imaging device monocular camera in this example
  • ridge 16 is not planted with crops. Depth information is not included in the data of the image 40(t) captured by the monocular camera. Therefore, the height difference between the ridge 16 and the intermediate region 14 cannot be known from the single image 40(t).
  • the imaging device 120 captures images 40(t+1), 40(t+2), 40(t+3) in chronological order not only at time t but also at other times, such as times t+1, t+2, t+3, . . . , . . .
  • a plurality of images acquired in time series by the imaging device 120 while the agricultural machine 100 is running may include the same area of the ground 10 partially overlapping.
  • the processing device 122 extracts feature points from the image 40(t), the image 40(t+1), .
  • a "feature point” is a point at which the luminance value or color of a pixel can be distinguished from surrounding pixels and the position of the pixel can be specified in the image.
  • the purpose of extracting feature points in this embodiment is to perform feature point matching from time-series images 40(t), images 40(t+1), . to measure the amount of movement of Extraction of feature points suitable for such feature point matching can be performed by the processing device 122 by image processing.
  • An example of a feature point extraction algorithm by image processing is SIFT (Scale-invariant feature re transform), SURF (Speed-Upped Robust Feature), KAZE, A-KAZE (ACCELERATED-KAZE).
  • SIFT Scale-invariant feature re transform
  • SURF Speed-Upped Robust Feature
  • KAZE, A-KAZE ACCELERATED-KAZE
  • KAZE and A-KAZE like SIFT or SURF, are highly robust feature point extraction algorithms that are resistant to scaling, rotation, and lighting changes.
  • KAZE and A-KAZE unlike SIFT and SURF, do not use Gaussian filters.
  • KAZE and A-KAZE are not easily affected by rotation, scale, and changes in brightness values, and can extract feature points even from areas in which brightness values and colors change relatively little in an image. Therefore, it becomes easy to extract feature points suitable for feature point matching even from an image such as the surface of soil.
  • A-KAZE has advantages over KAZE in that it is more robust and can increase processing speed.
  • feature points are extracted by the A-KAZE algorithm.
  • the algorithm for feature point matching is not limited to this example.
  • FIG. 31 schematically shows the correspondence relationship of feature points between an image 40(t) acquired from the imaging device at time t and an image 40(t+1) acquired at time t+1.
  • the time interval between time t and time t+1 can be, for example, 100 milliseconds or more and 500 seconds.
  • a feature point matching algorithm is used to associate the feature points extracted from the image 40(t) with the feature points corresponding to the feature points in the image 40(t+1). .
  • eight corresponding feature point pairs are connected by arrows.
  • the processing device 122 can extract, for example, several hundred to more than one thousand feature points from each of the image 40(t) and the image 40(t+1) by A-KAZE. The number of feature points to extract can be determined based on the number of images processed per second.
  • the processing device 122 After performing such feature point matching, the processing device 122 obtains the amount of movement (first amount of movement) within the image plane for each of the plurality of feature points.
  • the first movement amount obtained from the two images 40(t) and 40(t+1) does not have a common value for all feature points.
  • the first movement amount shows different values due to the physical height difference of the feature points on the ground 10 .
  • FIG. 32 is a perspective view schematically showing movement of the ridge 16 and the intermediate region (working passage) 14 appearing in the image acquired by the imaging device 120, and the image 40(t) and the image 40(t+1) are also schematically shown. It is shown.
  • FIG. 32 schematically illustrates how point F1 on ridge 16 and point F2 on intermediate area (between ridges or working path) 14 move horizontally to the left of the drawing. This horizontal movement is relative movement caused by the imaging device 120 fixed to the agricultural machine 100 moving to the right along with the agricultural machine 100 .
  • FIG. 32 shows that the origin O of the camera coordinate system ⁇ c in the imaging device 120 is stationary and the ground 10 moves leftward.
  • the height of the origin O of the camera coordinate system ⁇ c is Hc.
  • ridge 16 is a simplified ridge having height dH.
  • the image 40(t) of FIG. 32 shows the feature point f1 of the ridge 16 and the feature point f2 of the intermediate region 14. These feature points f1 and f2 are examples of many feature points extracted by a feature point extraction algorithm such as A-KAZE.
  • Image 40(t+1) shows feature points f1 and f2 after movement.
  • the image 40(t+1) also includes an arrow A1 indicating the movement of the feature point f1 and an arrow A2 indicating the movement of the feature point f2 from time t to t+1.
  • the length of arrow A1 (corresponding to the first movement amount) is longer than the length of arrow A2 (corresponding to the first movement amount).
  • the movement amount (first movement amount) of the feature point in the image differs depending on the distance from the origin O of the camera coordinate system ⁇ c to the corresponding point of the subject. This is due to the geometric nature of perspective projection.
  • the feature points f1 and f2 in the image 40(t) are points obtained by perspectively projecting the points F1 and F2 on the surface of the ground 10, which is the subject, onto the image plane Im1 of the imaging device 120, respectively.
  • feature points f1 and f2 in image 40(t+1) are points obtained by perspectively projecting points F1* and F2* on the surface of ground 10, which is the object, onto image plane Im1 of imaging device 120, respectively.
  • the center point of the perspective projection is the origin O of the camera coordinate system ⁇ c of the imaging device 120 .
  • the points F1 and F2 are points obtained by perspectively projecting the feature points f1 and f2 in the image 40(t) onto the ground 10 .
  • the points F1* and F2* can be said to be points obtained by perspectively projecting the feature points f1 and f2 in the image 40(t) onto the ground 10 .
  • point F1 on ridge 16 moves to point F1*
  • point F2 on intermediate region 14 moves to point F2*. do.
  • Each of these movement distances is equal to the distance (horizontal movement distance) traveled by the agricultural machine 100 from time t to time t+1.
  • the movement amounts of the feature points f1 and f2 on the image plane Im1 of the imaging device 120 are different from each other.
  • FIG. 33 shows the amount of movement (L) of the point F1 on the ridge 16 corresponding to the feature point f1 on the image plane Im1 of the imaging device 120 and the amount of movement of the point (projection point) F1p projected onto the reference plane Re (th 2 is a diagram schematically showing the relationship between the two movement amounts (L+dL).
  • the height of the reference plane Re is matched with the height of the intermediate region (between ridges) 14, and the height of the ridges 16 is dH.
  • the point F1 on the ridge 16 has moved to the left by a distance (movement amount) L equal to the running distance of the agricultural machine 100, but the point perspectively projected onto the reference plane Re (projection point ) F1p (second movement amount) is represented by L+dL, which is longer than L.
  • L the distance
  • F1p second movement amount
  • the amount of movement (first amount of movement) on the image plane Im1 is also increased corresponding to the extra length dL.
  • the processing device 122 in the present embodiment executes operation S22 in order to estimate the size of uneven steps on the ground 10 based on the above formula. That is, each of the plurality of feature points is perspectively projected from the image plane onto the reference plane Re corresponding to the ground 10, and the second movement amount (L+dL) of each projection point within the reference plane Re is based on the first movement amount.
  • Ask for Distance L in the above formula can be obtained by measuring the traveling distance of agricultural machine 100 . Also, the height Hc of the origin O of the camera coordinate system from the reference plane Re is known. Therefore, if the second movement amount (L+dL) is known, the height dH of the ridge 16 can be calculated from the equation (7). Then, the second movement amount (L+dL) can be obtained from the first movement amount.
  • the processing device 122 executes the operation S23.
  • the processing device 122 estimates the height dH of each feature point from the reference plane Re based on the second movement amount (L+dL) of each feature point, and detects the ridges 16 of the ground 10.
  • Hc is the height of the center point O of the perspective projection from the reference plane Re
  • dH is the height of the plurality of feature points from the reference plane Re
  • (dH is zero) on the reference plane Re.
  • L is the second movement amount of the feature point
  • L+dL is the second movement amount of the feature point whose dH is greater than zero
  • Hc ⁇ (1.0 ⁇ L/(L+dL)) of each feature point can be determined as height.
  • a homography transformation can be utilized. Specifically, the inverse matrix H1-1 of the transformation matrix H1 described above is used to transform the coordinates of each feature point on the image plane Im1 into the coordinates of the corresponding point on the reference plane Re. Therefore, the processing device 122 first obtains the first movement amount from the coordinates before and after movement of each feature point on the image plane Im1. Next, after the coordinates of each feature point are changed to the coordinates of corresponding points on the reference plane Re by homography transformation, the second movement amount can be obtained from the coordinates before and after movement on the reference plane Re.
  • FIG. 34 is a block diagram showing a series of processes executed by the processing device 122 in the second embodiment.
  • the processor 122 performs image acquisition 52, feature point matching 53, displacement calculation 54, and feature point height estimation 55.
  • FIG. 34 As a result, an estimate of the height from the reference plane Re can be obtained for each of a large number of feature points in the image.
  • a two-dimensional map of such height estimates indicates the height difference distribution of the unevenness on the surface of the ground 10 .
  • a plurality of scanning lines are also set in this embodiment.
  • the average feature point height is calculated along each scan line.
  • the direction in which the ridge extends can be found from the distribution of the average height values of the feature points.
  • the edge lines of the ridges 16 can be determined in a manner similar to the method used to determine the edge lines of the crop row 12 . As described with reference to FIG. 21 and the like, if the method of dividing the image into a plurality of blocks is adopted, the scanning line direction determination 56 can be omitted.
  • the processor 122 in this embodiment performs scan line direction determination 56, edge line position determination 57, and target path generation 58, as shown in FIG.
  • FIG. 35 is a diagram showing the relationship between the average height of feature points on scanning lines parallel to the direction in which the ridge extends and the position of the scanning lines.
  • the horizontal axis indicates the position of the scanning line
  • the vertical axis indicates the average height value of feature points on each scanning line.
  • the average height value repeatedly increases and decreases as the scanning line position moves from left to right.
  • the position where the average height value peaks corresponds to the center of the ridge.
  • the curve representing the average height value forms a trough midway between two adjacent peaks. This valley bottom corresponds to the vicinity of the center of the intermediate region (furrow or working passage) 14 .
  • the processing unit 122 determines the edge lines of the ridges as the positions on both sides of the peak position indicated by the average height value and having a height of a predetermined ratio (for example, 0.8 times) of the peak. . Above the graph in FIG. 35, white arrows indicating the positions of the edge lines of the two ridges in the image are shown.
  • an image may be divided into a plurality of blocks, and the average value of the heights of feature points on scanning lines may be obtained for each block. .
  • the processing device 122 may simultaneously or selectively perform the crop row detection in the first embodiment and the ridge detection in the second embodiment. If the furrow is planted with crops, the processor 122 may function as the crop row detection system in the first embodiment and the furrow detection system in the second embodiment. In that case, the edge lines of the crop row and the edge lines of the furrow are determined. A target path for the agricultural machine can be determined based on both or one of the edge lines.
  • the processing device 122 may calculate the reliability of detection for each of crop row detection and ridge detection.
  • the reliability of crop row detection may be determined, for example, based on the distribution of integrated values of the index values shown in FIG. 22 or the size of the peak value.
  • the reliability of ridge detection may be determined, for example, based on the magnitude of the difference between the maximum value and the minimum value in the height distribution shown in FIG. For example, when a target path is generated based on the detected crop row edge lines and the agricultural machine is traveling along the target path, the crop row detection fails or falls below a predetermined level of confidence. In places of depression, ridge detection may be performed in the background so that target paths are generated based on the edge lines of the ridges.
  • the processing device 122 can perform both crop row detection and ridge detection, one or both of the crop row detection and ridge detection may be performed according to the user's selection.
  • the target area for column detection that is, the column search range is limited to a part of the image.
  • a row detection system 2000 in this embodiment includes a processing device 122 attached to the agricultural machine 100 .
  • the agricultural machine 100 in this embodiment has one or more wheels.
  • FIG. 36 shows a basic configuration example of a row detection system 2000 in this embodiment.
  • the row detection system 2000 includes a processing device 122 having the same hardware configuration as in other embodiments.
  • the processing device 122 selects a search area for detecting at least one of crop rows and ridges from the time-series images. This search area has a size and shape that includes at least a portion of the wheel.
  • FIG. 37 shows an example of an image 40 acquired by the processing device 122 from the imaging device 120 .
  • the image 40 is one piece of time-series images. This image 40 includes crop rows 12, intermediate regions 14, A portion of the vehicle body 110 of the agricultural machine 100 and a portion of the front wheel 104F are shown. Edge lines are indicated by white lines in FIG. 37 for reference.
  • FIG. 38 is a diagram showing part of the image in FIG. In FIG. 38, part of the vehicle body 110 of the agricultural machine 100 and part of the front wheel 104F shown in the image 40 are surrounded by white lines.
  • an example of the search area 60 is indicated by a trapezoidal dashed line that includes a portion of the front wheel 104F.
  • the search area 60 has a shape that includes at least one of the crop rows and ridges in the image 40, from the crop row or ridge located on the left side of the front wheel 104F to the crop row or ridge located on the right side. doing.
  • distortion is greater in the peripheral portion than in the central portion even in the top view image.
  • the peak value decreases and the peak interval widens as the position of the scanning line moves away from the central portion.
  • the crop row or ridge to be detected which is necessary for selecting the target route, is near the front of the running agricultural machine. More specifically, it suffices if crop rows or ridges positioned around the wheels of the traveling device of the agricultural machine can be accurately detected.
  • the amount of calculations performed by the processing device 122 and the time required for the calculations are reduced by performing column detection on a limited area rather than the entire image acquired by the imaging device 120. becomes possible. It also increases the accuracy of column detection because outliers due to distortions in the periphery of the image can be filtered out.
  • the selection (area setting) of the search area 60 depends on the position and orientation of mounting the imaging device 120 on the agricultural machine 100 as well as the structure or shape of the agricultural machine 100 .
  • the range (shape, size, position) of the search area 60 may be manually determined while checking the image obtained from the imaging device 120 on the monitor screen. .
  • the range of the search area 60 may be determined based on the optical performance of the imaging device 120, the mounting position, the model of the agricultural machine, etc., and input to the processing device 122. FIG.
  • the processing device 122 in this embodiment may be configured to detect at least part of the wheel 10F from the image 40 shown in FIG. 38, for example, using image recognition technology. In that case, it is also possible to adaptively change the range of the search area 60 so as to select an area including at least part of the detected front wheel 104F as the search area 60.
  • the processing device 122 may estimate the positional relationship between at least one of the detected crop rows 12 and ridges 16 and the front wheels 104F based on a partial image of the front wheels 104F included in the search area 60.
  • the processing device 122 may be configured to estimate the positional relationship between at least one of the detected crop rows 12 and ridges 16 and the agricultural machine 100 based on such a positional relationship.
  • the processing device 122 may not have information indicating the correct position of the front wheel 104F with respect to the agricultural machine 100 in some cases.
  • Information indicating such a position is, for example, the coordinates of the front wheel 104F in the body coordinate system ⁇ b fixed to the agricultural machine 100 . Even if such coordinates are stored in advance in the storage device 28 of the processing device 122, for example, if the user changes the tire size of the front wheels 104F or changes the distance between the left and right front wheels 104F, the accuracy of the coordinates will be reduced. is lost.
  • the processing device 122 detects a portion of the front wheel 104F included in the search area 60, and estimates the position of the front wheel 104F relative to the agricultural machine 100 based on the image of the detected portion of the front wheel 104F. good too.
  • FIG. 39 is a top view schematically showing a part of the ground 10 on which the rows of crops 12 are provided.
  • Figure 3 9 describes a pair of front wheels 104F.
  • Such a top-view rectangular area 62 is a top-view image generated by performing the aforementioned homographic transformation on the search area 60 of the image of FIG.
  • the vehicle body 110 shown in the search area 60 of FIG. 38 is omitted.
  • FIG. 39 schematically shows a tire tread (ground contact surface) CA where the front wheel 104F contacts the ground 10.
  • the center-to-center distance T of the left and right tire treads CA is the "tread width (track)."
  • the position of the tire tread CA with respect to the vehicle body 110 of the agricultural machine 100 is known. Therefore, the positional relationship of the tire tread CA with respect to the top view image (rectangular area) 62 of the search area 60 is also known. However, by setting the search area 60 to include at least part of one or a plurality of wheels as in this embodiment, the following effects can be obtained.
  • the structure of the vehicle body 110 differs depending on the model, and the tread width (distance between the centers of the tire treads CA) T may also differ depending on the model. Further, even if the model is the same, the user may change the tread width T as described above. Therefore, by selecting the shape and size of the search area 60 so as to include the wheel 104 in the image, it is possible to realize image processing that can be applied to various models, and to change the tread width T by the user. make it responsive.
  • FIG. 40 shows the positions of points P3 and P4 included in a portion of the front wheel 104F shown in the image 40 and corresponding points P3' and P4' obtained by perspectively projecting these points P3 and P4 onto the reference plane Re. It is a figure which shows a relationship typically.
  • the coordinates of the corresponding points P3' and P4' in the world coordinate system are (X3', Y3', 0) and (X4', Y4', 0), respectively.
  • the points P3 and P4 are positioned higher than the reference plane Re.
  • the X coordinates and Y coordinates of the corresponding points P3′ and P4′ on the reference plane Re are the X coordinates of the points P3 and P4, respectively. coordinates and Y coordinates. Therefore, when a top view image is generated by performing homography transformation on the image 40 in which a part of the front wheel 104F is reflected, the image of the front wheel 104F is formed in the top view image in a distorted shape, and is positioned accurately. It becomes difficult to infer relationships.
  • the positions of the points P3 and P4 on the front wheel 104F in the image are estimated from the shape in the image by, for example, pattern matching. It is possible to If the positions of the points P3 and P4 on the front wheel 104F are estimated, for example, the coordinates (X3', Y3', 0) and (X4', Y4', 0) of the corresponding points P3' and P4' are corrected to A central position of the tread CA can be estimated.
  • the agricultural machine in this embodiment includes the row detection system described above.
  • this agricultural machine includes a control system that performs control for realizing automatic steering operation.
  • a control system is a computer system that includes a storage device and a controller, and is configured to control steering, travel, and other operations of agricultural machinery.
  • the controller locates the agricultural machine by means of the positioning device and, based on a previously generated target path, steers the agricultural machine so that the agricultural machine travels along the target path. Control. Specifically, the steering angle of the steered wheels (for example, the front wheels) of the agricultural machine is controlled so that the work vehicle travels along the target route in the field.
  • the agricultural machine according to the present embodiment is configured not only in such a normal automatic steering mode, but also in an automatic steering mode configured to perform automatic traveling by "row-following traveling control" in a field having rows of crops and ridges. Have a device.
  • the positioning device has, for example, a GNSS receiver.
  • GNSS receiver can determine the location of work vehicles based on signals from GNSS satellites.
  • the space between the rows is narrow, and depending on how the crops are planted and the growth conditions, the wheels of the agricultural machinery may be damaged. It also increases the possibility that the running gear will protrude into the row.
  • the automatic steering device provided by the agricultural machine in the embodiment of the present disclosure is configured to control the steering angle of the steered wheels based on the position of the edge line of the row determined by the row detection system.
  • the processing device of the row detection system can monitor the positional relationship between the edge line of the row and the steering wheel based on the time-series color images. If a position error signal is generated from this positional relationship, the automatic steering system of the agricultural machine can appropriately adjust the steering angle so as to reduce the position error signal.
  • FIG. 41 is a perspective view showing an example of the appearance of the agricultural machine 100 according to this embodiment.
  • FIG. 42 is a side view schematically showing an example of agricultural machine 100 with work implement 300 attached.
  • the agricultural machine 100 in this embodiment is an agricultural tractor (working vehicle) with a working machine 300 attached.
  • Agricultural machine 100 is not limited to a tractor, and work machine 300 need not be attached.
  • the row detection technology in the present disclosure exhibits excellent effects when used in small-sized tending machines and vegetable transplanters that can be used for inter-row work such as ridge making, intertillage, soiling, weeding, top dressing, and pest control. can be done.
  • the agricultural machine 100 in this embodiment includes an imaging device 120, a positioning device 130, and an obstacle sensor 136. Although one obstacle sensor 136 is illustrated in FIG. 41 , obstacle sensors 136 may be provided at a plurality of locations on the agricultural machine 100 .
  • the agricultural machine 100 includes a vehicle body 110 , a prime mover (engine) 102 and a transmission (transmission) 103 .
  • the vehicle body 110 is provided with tires 104 (wheels) and a cabin 105 .
  • Tires 104 include a pair of front wheels 104F and a pair of rear wheels 104R.
  • a driver's seat 107 , a steering device 106 , an operation terminal 200 , and a group of switches for operation are provided inside the cabin 105 .
  • One of the front wheel 104F and the rear wheel 104R may be a crawler instead of a tire.
  • the agricultural machine 100 may be a four-wheel drive vehicle having four tires 104 as driving wheels, or a two-wheel drive vehicle having a pair of front wheels 104F or a pair of rear wheels 104R as driving wheels.
  • the positioning device 130 in this embodiment includes a GNSS receiver.
  • the GNSS receiver includes an antenna for receiving signals from GNSS satellites and processing circuitry for determining the position of agricultural machine 100 based on the signals received by the antenna.
  • the positioning device 130 receives GNSS signals transmitted from GNSS satellites and performs positioning based on the GNSS signals.
  • GNSS is a general term for satellite positioning systems such as GPS (Global Positioning System), QZSS (Quasi-Zenith Satellite System, eg Michibiki), GLONASS, Galileo, and BeiDou.
  • the positioning device 130 in this embodiment is provided in the upper part of the cabin 105, but may be provided in another position.
  • the positioning device 130 can further supplement the position data using signals from an inertial measurement unit (IMU).
  • IMU inertial measurement unit
  • the IMU can measure tilts and minute movements of the agricultural machine 100 .
  • Positioning performance can be improved by using data obtained by the IMU to supplement position data based on GNSS signals.
  • an obstacle sensor 136 is provided at the rear portion of the vehicle body 110.
  • FIG. Obstacle sensor 136 may be arranged at a portion other than the rear portion of vehicle body 110 .
  • one or more obstacle sensors 136 may be provided anywhere on the sides, front, and cabin 105 of the vehicle body 110 .
  • the obstacle sensor 136 detects objects existing around the agricultural machine 100 .
  • Obstacle sensor 136 may comprise, for example, a laser scanner or ultrasonic sonar.
  • the obstacle sensor 136 outputs a signal indicating the presence of an obstacle when an object is present closer than a predetermined distance from the obstacle sensor 136 .
  • a plurality of obstacle sensors 136 may be provided at different positions on the vehicle body of the agricultural machine 100 . For example, multiple laser scanners and multiple ultrasonic sonars may be placed at different locations on the vehicle body. By providing such many obstacle sensors 136, blind spots in monitoring obstacles around the agricultural machine 100 can be reduced.
  • the prime mover 102 is, for example, a diesel engine.
  • An electric motor may be used instead of the diesel engine.
  • the transmission 103 can change the driving force and the moving speed of the agricultural machine 100 by shifting.
  • the transmission 103 can also switch between forward and reverse of the agricultural machine 100 .
  • the steering device 106 includes a steering wheel, a steering shaft connected to the steering wheel, and a power steering device that assists steering by the steering wheel.
  • the front wheel 104F is a steerable wheel, and the traveling direction of the agricultural machine 100 can be changed by changing the steering angle (also referred to as "steering angle").
  • the steering angle of the front wheels 104F can be changed by operating the steering wheel.
  • the power steering system includes a hydraulic system or an electric motor that supplies an assist force for changing the steering angle of the front wheels 104F. When automatic steering is performed, the steering angle is automatically adjusted by the power of the hydraulic system or the electric motor under the control of the control device arranged in the agricultural machine 100 .
  • a coupling device 108 is provided at the rear portion of the vehicle body 110 .
  • the coupling device 108 includes, for example, a three-point support device (also called a "three-point link” or “three-point hitch"), a PTO (Power Take Off) shaft, a universal joint, and a communication cable.
  • the work machine 300 can be attached to and detached from the agricultural machine 100 by the coupling device 108 .
  • the coupling device 108 can control the position or attitude of the working machine 300 by elevating the three-point linkage by, for example, a hydraulic device.
  • power can be sent from the agricultural machine 100 to the working machine 300 via the universal joint.
  • the agricultural machine 100 can cause the work machine 300 to perform a predetermined work while pulling the work machine 300 .
  • the coupling device may be provided in front of vehicle body 110 . In that case, a working machine can be connected to the front of the agricultural machine 100 .
  • a working machine 300 shown in FIG. 42 is, for example, a rotary cultivator.
  • the work machine 300 towed or attached to a work vehicle such as a tractor when traveling along a row can be used for furrow work such as ridge making, intertillage, soiling, weeding, top dressing, pest control, etc.
  • furrow work such as ridge making, intertillage, soiling, weeding, top dressing, pest control, etc.
  • furrow work such as ridge making, intertillage, soiling, weeding, top dressing, pest control, etc.
  • FIG. 43 is a block diagram showing an example of a schematic configuration of agricultural machine 100 and working machine 300. As shown in FIG. Agricultural machine 100 and working machine 300 can communicate with each other via a communication cable included in coupling device 108 .
  • the agricultural machine 100 in the example of FIG. 43 includes an imaging device 120, a positioning device 130, an obstacle sensor 136, an operation terminal 200, a driving device 140, a steering wheel sensor 150, a steering angle sensor 152, a control system 160, a communication interface ( IF) 190 , operation switch group 210 , and buzzer 220 .
  • Positioning device 130 comprises a GNSS receiver 131 and an inertial measurement unit (IMU) 125 .
  • Control system 160 includes storage device 170 and control device 180 .
  • the controller 180 comprises a plurality of electronic control units (ECUs) 181-186.
  • Work machine 300 includes a drive device 340 , a control device 380 , and a communication interface (IF) 390 .
  • FIG. 43 shows constituent elements that are relatively highly relevant to the automatic steering or automatic traveling operation of the agricultural machine 100, and illustration of other constituent elements is omitted.
  • the positioning device 130 positions the agricultural machine 100 using GNSS.
  • the positioning device 130 comprises an RTK receiver
  • correction signals transmitted from reference stations are utilized in addition to GNSS signals transmitted from multiple GNSS satellites.
  • the reference station can be installed around the field on which the agricultural machine 100 runs (for example, within 10 km from the agricultural machine 100).
  • the reference station generates a correction signal based on GNSS signals received from multiple GNSS satellites and transmits the correction signal to the positioning device 130 .
  • a GNSS receiver 131 in the positioning device 130 receives GNSS signals transmitted from a plurality of GNSS satellites.
  • the positioning device 130 performs positioning by calculating the position of the agricultural machine 100 based on the GNSS signals and correction signals.
  • RTK-GNSS By using RTK-GNSS, it is possible to perform positioning with an accuracy of, for example, an error of several centimeters.
  • Location information including latitude, longitude and altitude information, is obtained through RTK-GNSS high-precision positioning.
  • the positioning method is not limited to RTK-GNSS, and any positioning method (interferometric positioning method, relative positioning method, etc.) that can obtain position information with required accuracy can be used.
  • VRS Virtual Reference Station
  • DGPS Positioning using the Differential Global Positioning System
  • the IMU 135 is equipped with a 3-axis acceleration sensor and a 3-axis gyroscope.
  • the IMU 135 may include an orientation sensor, such as a 3-axis geomagnetic sensor.
  • the IMU 135 functions as a motion sensor and can output signals indicating various quantities such as acceleration, speed, displacement, and attitude of the agricultural machine 100 .
  • the positioning device 130 can more accurately estimate the position and orientation of the agricultural machine 100 based on the signals output from the IMU 135 in addition to the GNSS signals and correction signals. Signals output from IMU 135 may be used to correct or impute position calculated based on GNSS signals and correction signals.
  • the IMU 135 outputs signals at a higher frequency than GNSS signals.
  • the position and orientation of the agricultural machine 100 can be measured at a higher frequency (eg, 10 Hz or higher).
  • a separate 3-axis acceleration sensor and 3-axis gyroscope may be provided.
  • the IMU 135 may be provided as a separate device from the positioning device 130 .
  • the positioning device 130 may include other types of sensors in addition to the GNSS receiver 131 and IMU 135. Depending on the environment in which the agricultural machine 100 runs, the position and orientation of the agricultural machine 100 can be estimated with high accuracy based on the data from these sensors.
  • the driving device 140 includes various components necessary for running the agricultural machine 100 and driving the work implement 300, such as the prime mover 102, the transmission 103, the differential including the differential lock mechanism, the steering device 106, and the coupling device .
  • Prime mover 102 includes an internal combustion engine, such as a diesel engine, for example.
  • Drive system 140 may include an electric motor for traction instead of or in addition to the internal combustion engine.
  • the steering wheel sensor 150 measures the rotation angle of the steering wheel of the agricultural machine 100.
  • the steering angle sensor 152 measures the steering angle of the front wheels 104F, which are steered wheels. Measured values by the steering wheel sensor 150 and the steering angle sensor 152 are used for steering control by the controller 180 .
  • the storage device 170 includes one or more storage media such as flash memory or magnetic disk.
  • the storage device 170 stores various data generated by each sensor and the control device 180 .
  • the data stored in the storage device 170 may include map data of the environment in which the agricultural machine 100 travels and data of target routes for automatic steering.
  • the storage device 170 also stores a computer program that causes each ECU in the control device 180 to execute various operations described later.
  • Such a computer program can be provided to the agricultural machine 100 via a storage medium (such as a semiconductor memory or an optical disk) or an electric communication line (such as the Internet).
  • Such computer programs may be sold as commercial software.
  • Control device 180 includes a plurality of ECUs.
  • the plurality of ECUs include an ECU 181 for image recognition, an ECU 182 for speed control, an ECU 183 for steering control, an ECU 184 for automatic steering control, an ECU 185 for work machine control, an ECU 186 for display control, and an ECU 187 for buzzer control.
  • the image recognition ECU 181 functions as a processing device for the row detection system.
  • the ECU 182 controls the motor 102 included in the drive device 140, the transmission 10 3, and controls the speed of the agricultural machine 100 by controlling the brakes.
  • the ECU 183 controls steering of the agricultural machine 100 by controlling a hydraulic device or an electric motor included in the steering device 106 based on the measurement value of the steering wheel sensor 150 .
  • ECU 184 performs calculations and controls for realizing automatic steering operation based on signals output from positioning device 130 , steering wheel sensor 150 , and steering angle sensor 152 .
  • the ECU 184 sends an instruction to change the steering angle to the ECU 183 .
  • the ECU 183 changes the steering angle by controlling the steering device 106 in response to the command.
  • ECU 185 controls the operation of coupling device 108 in order to cause work machine 300 to perform a desired operation.
  • ECU 185 also generates a signal for controlling the operation of work machine 300 and transmits the signal to work machine 300 via communication IF 190 .
  • ECU 186 controls the display of operation terminal 200 .
  • the ECU 186 causes the display device of the operation terminal 200 to display various displays such as a field map, detected crop rows or ridges, the position and target route of the agricultural machine 100 in the map, pop-up notifications, and setting screens.
  • ECU 187 controls the output of a warning sound by buzzer 220 .
  • control device 180 realizes driving by manual steering or automatic steering.
  • control device 180 controls drive device 140 based on the position of agricultural machine 100 measured or estimated by positioning device 130 and the target route stored in storage device 170 .
  • the control device 180 causes the agricultural machine 100 to travel along the target route.
  • the ECU 181 for image recognition determines edge lines of crop rows or ridges from the detected crop rows or ridges, and generates a target route based on these edge lines. .
  • the controller 180 performs operations according to this target path.
  • a plurality of ECUs included in the control device 180 can communicate with each other according to a vehicle bus standard such as CAN (Controller Area Network).
  • CAN Controller Area Network
  • each of the ECUs 181 to 187 is shown as an individual block in FIG. 43, their respective functions may be realized by a plurality of ECUs.
  • an in-vehicle computer that integrates at least part of the functions of the ECUs 181 to 187 may be provided.
  • the control device 180 may include ECUs other than the ECUs 181 to 187, and an arbitrary number of ECUs may be provided according to functions.
  • Each ECU has a control circuit that includes one or more processors.
  • the communication IF 190 is a circuit that communicates with the communication IF 390 of the working machine 300 .
  • Communication IF 190 performs transmission/reception of signals conforming to the ISOBUS standard such as ISOBUS-TIM with communication IF 390 of work machine 300 .
  • work machine 300 can be caused to perform a desired operation, or information can be acquired from work machine 300 .
  • the communication IF 190 may communicate with an external computer via a wired or wireless network.
  • the external computer may be, for example, a server computer in a farming support system that centrally manages information on fields on the cloud and utilizes data on the cloud to support agriculture.
  • Operation terminal 200 is a terminal for a user to perform operations related to travel of agricultural machine 100 and operation of work implement 300, and is also referred to as a virtual terminal (VT).
  • Operating terminal 200 may include a display device, such as a touch screen, and/or one or more buttons.
  • the user can, for example, switch on/off the automatic steering mode, switch on/off the cruise control, set the initial position of the agricultural machine 100, set the target route, record a map, or
  • Various operations such as editing, 2WD/4WD switching, differential lock ON/OFF switching, and work machine 300 ON/OFF switching can be performed. At least part of these operations are performed by the operation switch group 21 It can also be realized by manipulating 0.
  • Display on the operation terminal 200 is controlled by the ECU 186 .
  • the buzzer 220 is an audio output device that emits a warning sound to notify the user of an abnormality.
  • the buzzer 220 emits a warning sound, for example, when the agricultural machine 100 deviates from the target route by a predetermined distance or more during automatic steering operation.
  • a similar function may be realized by a speaker of the operation terminal 200 instead of the buzzer 220 .
  • Buzzer 220 is controlled by ECU 186 .
  • the drive device 340 in the work machine 300 performs operations necessary for the work machine 300 to perform a predetermined work.
  • Drive device 340 includes a device, such as a hydraulic device, an electric motor, or a pump, depending on the application of work machine 300 .
  • Controller 380 controls the operation of drive 340 .
  • the control device 380 causes the driving device 340 to perform various operations in response to signals transmitted from the agricultural machine 100 via the communication IF 390 .
  • a signal corresponding to the state of work machine 300 can also be transmitted from communication IF 390 to agricultural machine 100 .
  • the agricultural machine 100 may be a working vehicle that operates unmanned and automatically. In that case, the agricultural machine 100 does not need to be provided with components necessary only for manned operation, such as a cabin, a driver's seat, a steering wheel, and an operation terminal.
  • the unmanned work vehicle may perform operations similar to those in the above-described embodiments by autonomous travel or remote control by a user.
  • a system that provides various functions in the embodiments can be retrofitted to agricultural machines that do not have those functions.
  • Such systems can be manufactured and sold independently of agricultural machinery.
  • Computer programs used in such systems may also be manufactured and sold independently of agricultural machinery.
  • the computer program may be provided by being stored in a non-transitory computer-readable storage medium, for example.
  • Computer programs may also be provided by download via telecommunications lines (eg, the Internet).
  • the technology of the present disclosure can be applied, for example, to agricultural machines such as ride-on maintenance machines, vegetable transplanters, and tractors.
  • Reference numerals 10 Ground, 12: Row of crops, 14: Intermediate area (work passage), 16: Ridge, 40: Image, 42: Emphasized image, 44: Top view image , 100... agricultural machine, 110... vehicle main body, 120... imaging device, 122... processing device, 124... automatic steering device

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

列検出システムは、１または複数の車輪を有する農業機械に取り付けられ、前記農業機械が走行する地面を撮影して前記地面の少なくとも一部を含む時系列画像を取得する撮像装置と、前記時系列画像の画像処理を行う処理装置とを備える。前記処理装置は、前記時系列画像から、作物列および畝の少なくとも一方を検出するためのサーチ領域を選択し、前記サーチ領域は前記１または複数の車輪の少なくとも一部を含む大きさおよび形状を有している。

Description

列検出システム、列検出システムを備える農業機械、および、列検出方法
　本開示は、列検出システム、列検出システムを備える農業機械、および、列検出方法に関する。
　圃場で使用されるトラクタなどの作業車両の自動化に向けた研究開発が進められている。例えば、精密な測位が可能なＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）などの測位システムを利用して自動操舵で走行する作業車両が実用化されている。自動操舵に加えて速度制御を自動で行う作業車両も実用化されている。
　また、圃場における作物の列（作物列）または畝をカメラなどの撮像装置を用いて検出し、検出した作物列または畝に沿って作業車両の走行を制御するビジョン・ガイダンスシステムが開発されつつある。
　特許文献１は、列状に形成された畝に作物が植えられた耕作地を畝に沿って走行する作業機を開示している。特許文献１は、車載カメラで耕作地を斜め上方から撮影して取得した原画像を二値化処理した後、平面射影変換画像を生成することを記載している。特許文献１が開示する技術では、平面射影変換画像を回転させることにより、向きが異なる多数の回転画像を生成し、畝と畝との間の作業通路を検出する。
特開２０１６－２０８８７１号公報
　撮像装置を用いて作物列または畝などの「列」を検出する技術では、日照条件などの外乱要因によって検出の精度が低下する場合がある。
　本開示は、このような課題を解決することが可能な列検出システム、列検出システムを備える農業機械、および、列検出方法を提供する。
　本開示による列検出システムは、例示的で非限定的な実施形態において、１または複数の車輪を有する農業機械に取り付けられ、前記農業機械が走行する地面を撮影して前記地面の少なくとも一部を含む時系列画像を取得する撮像装置と、前記時系列画像の列検出を行う処理装置とを備える。前記処理装置は、前記時系列画像から、作物列および畝の少なくとも一方を検出するためのサーチ領域を選択し、前記サーチ領域は前記１または複数の車輪の少なくとも一部を含む大きさおよび形状を有している。
　本開示による農業機械は、例示的で非限定的な実施形態において、上記の列検出システムを備える農業機械であって、操舵輪を含む走行装置と、前記列検出システムが決定した前記作物列または畝の位置に基づいて、前記操舵輪の操舵角を制御する自動操舵装置とを備える。
　本開示による列検出方法は、例示的で非限定的な実施形態において、コンピュータに実
装される列検出方法であって、１または複数の車輪を有する農業機械に取り付けられた撮像装置から、前記農業機械が走行する地面を撮影した、前記地面の少なくとも一部を含む時系列画像を取得すること、前記時系列画像から、作物列および畝の少なくとも一方を検出するためのサーチ領域を、前記サーチ領域が前記１または複数の車輪の少なくとも一部を含む大きさおよび形状を有するように、選択することをコンピュータに実行させる。
　本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよいし、分離した２つ以上の機器内に分かれて配置されていてもよい。
　本開示の実施形態によれば、日照条件などの外乱要因による検出精度低下を抑制し、ロバスト性を高めることが可能になる。
農業機械に取り付けられた撮像装置が地面を撮影する様子を模式的に示す図である。 農業機械に対して固定されたボディ座標系Σｂおよびカメラ座標系Σｃと、地面に対して固定されたワールド座標系Σｗとの関係を模式的に示す斜視図である。 地面に複数の作物列が設けられた圃場の一部を模式的に示す上面図である。 図３に示す農業機械の撮像装置が取得した画像の例を模式的に示す図である。 農業機械の位置および向き（ヨー方向の角度）を調整した状態を模式的に示す上面図である。 図５の状態にある農業機械の撮像装置が取得した画像の例を示す図である。 本開示の第１実施形態における列検出システムの基本的な構成例を示すブロック図である。 本開示の第１実施形態における処理装置の構成例を模式的に示すブロック図である。 トラクタに搭載された車載カメラが取得した時系列カラー画像における１フレームの画像に対応するモノクロ画像である。 時系列カラー画像における１フレームの画像のＲＧＢ値を緑過剰指標（ＥｘＧ＝２×ｇ－ｒ－ｂ）に変換した強調画像を示す図である。 図１０の画像における緑過剰指標（ＥｘＧ）のヒストグラムである。 第１画素（例えば作物画素）と第２画素（背景画素）とに分類された上面視画像（俯瞰画像）の例を示す図である。 カメラ座標系Σｃ１およびカメラ座標系Σｃ２のそれぞれと、基準平面Ｒｅとの配置関係を模式的に示す斜視図である。 上面視画像における作物列の方向と走査ラインの方向とが平行な例を示す模式図である。 図１４の上面視画像について得られた積算値ヒストグラムの例を模式的に示す図である。 上面視画像における作物列の方向と走査ラインの方向とが交差する例を示す模式図である。 図１６の上面視画像について得られた積算値ヒストグラムの例を模式的に示す図である。 本開示の実施形態における処理装置が作物列のエッジラインを決定するアルゴリズムの例を示すフローチャートである。 図１２の上面視画像から得られた積算値ヒストグラムを示す図である。 本開示の実施形態における処理装置が実行する処理を示すブロック図である。 上面視画像を複数のブロックに分割する形態を説明するための図である。 図２１の各ブロックにおける、走査ラインの位置と指標値の積算値との関係を模式的に示す図である。 図２２の各ブロックにおける作物列中心と、作物列中心に対する近似線の例を示す図である。 図２３の近似線に基づいて決定した作物列のエッジラインの例を示す上面図である。 作物列が曲線上に曲がる部分を含む場合において、上面視画像の一部または全部を複数のブロックに分割して、複数のブロックのそれぞれについて、エッジラインの位置を決定する方法を説明するための図である。 図２５の各ブロックにおける、走査ラインの位置と指標値の積算値（ヒストグラム）との関係を模式的に示す図である。 図２６の各ブロックにおける作物列中心と、作物列中心に対する近似線の例を示す図である。 図２７の近似曲線に基づいて決定した作物列のエッジラインの例を示す上面図である。 地面に設けられた畝の列を模式的に示す斜視図である。 撮像装置から時刻ｔに取得した画像を示す図である。 撮像装置から時刻ｔに取得した画像と、時刻ｔ＋１に取得した画像との間にある特徴点の対応関係を模式的に示す図である。 撮像装置が取得する画像に映る畝および中間領域（作業通路）上の特徴点の移動を模式的に示す斜視図である。 画像平面に投影された特徴点の移動量（第１移動量）と、基準平面に投影された特徴点の移動量（第２移動量）との関係を模式的に示す図である。 本開示の第２実施形態における処理装置が実行する処理を示すブロック図である。 走査ライン上における特徴点の高さの平均値と、走査ラインの位置との関係を示す図である。 本開示の第３実施形態における列検出システムの基本的な構成例を示す図である。 撮像装置から処理装置が取得した画像の例を示す図である。 図３７の画像の一部を示す図である。 作物列が設けられた地面の一部を模式的に示す上面図である。 画像内に映っている前輪の一部に含まれる点Ｐ３、Ｐ４と、基準平面Ｒｅ上の対応点Ｐ３’、Ｐ４’との位置関係を模式的に示す図である。 本開示の実施形態における農業機械の外観の例を示す斜視図である。 作業機が装着された状態の農業機械の例を模式的に示す側面図である。 農業機械および作業機の概略的な構成の例を示すブロック図である。
　以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に関する重複する説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範
囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同じ参照符号を付している。
　下記の実施形態は例示であり、本開示の技術は、以下の実施形態に限定されない。例えば、以下の実施形態について示される数値、形状、材料、ステップ、そのステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
　本開示における「農業機械」は、「耕す」、「植える」、「収穫する」などの農業の基本的な作業を圃場で行う機械を広く含む。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う機能および構造を備える機械である。これらの農作業を「対地作業」または単に「作業」と称することがある。農業機械は、それ自体が移動するための走行装置を備えている必要はなく、走行装置を備える他の車両に装着されたり、牽引されたりすることによって走行してもよい。また、トラクタのような作業車両が単独で「農業機械」として機能する場合に限られず、作業車両に装着または牽引される作業機（インプルメント）と作業車両の全体がひとつの「農業機械」として機能する場合がある。農業機械の例は、トラクタ、乗用管理機、野菜移植機、草刈機、および、圃場用移動ロボットを含む。
　（実施形態１）
　本開示の例示的な第１の実施形態における列検出システムおよび列検出方法を説明する。本実施形態では、「列検出」として作物列の検出が行われる。
　本実施形態における列検出システムは、農業機械に取り付けられて使用される撮像装置を備える。撮像装置は、農業機械が走行する地面を撮影して、地面の少なくとも一部を含む時系列カラー画像を取得するように農業機械に固定されている。
　図１は、例えばトラクタまたは乗用管理機などの農業機械１００に取り付けられた撮像装置１２０が地面１０を撮影する様子を模式的に示している。図１の例において、農業機械１００は、走行可能な車両本体１１０を備え、撮像装置１２０は車両本体１１０に固定されている。参考のため、図１には、互いに直交するＸｂ軸、Ｙｂ軸、Ｚｂ軸を有するボディ座標系Σｂが示されている。ボディ座標系Σｂは、農業機械１００に固定された座標系であり、ボディ座標系Σｂの原点は、例えば農業機械１００の重心付近に設定され得る。図では、見やすさのため、ボディ座標系Σｂの原点が農業機械１００の外部に位置しているように記載されている。本開示におけるボディ座標系Σｂでは、Ｘｂ軸は農業機械１００が直進するときの走行方向（矢印Ｆの方向）に一致している。Ｙｂ軸は、座標原点からＸｂ軸における正方向を見たときの真右の方向に一致し、Ｚｂ軸は鉛直下方の方向に一致する。
　撮像装置１２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを有する車載カメラである。本実施形態における撮像装置１２０は、例えば、３フレーム／秒（ｆｐｓ：　ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）以上のフレームレートで動画を撮影することができる単眼カメラである。
　図２は、上述したボディ座標系Σｂと、撮像装置１２０のカメラ座標系Σｃと、地面１０に固定されたワールド座標系Σｗとの関係を模式的に示す斜視図である。カメラ座標系Σｃは、互いに直行するＸｃ軸、Ｙｃ軸、Ｚｃ軸を有しており、ワールド座標系Σｗは、互いに直行するＸｗ軸、Ｙｗ軸、Ｚｗ軸を有している。図２の例において、ワールド座標
系ΣｗのＸｗ軸およびＹｗ軸は、地面１０に沿って拡がる基準平面Ｒｅ上にある。
　撮像装置１２０は、農業機械１００の所定位置に所定方向を向くように取り付けられる。このため、ボディ座標系Σｂに対するカメラ座標系Σｃの位置および向きは、既知の状態に固定される。カメラ座標系ΣｃのＺｃ軸は、カメラ光軸λ１上にある。図示される例において、カメラ光軸λ１は、農業機械１００の走行方向Ｆから地面１０に向かって傾斜しており、俯角Φは、０°よりも大きい。農業機械１００の走行方向Ｆは、農業機械１００が走行している地面１０に対して概略的に平行である。俯角Φは、例えば０°以上６０°以下の範囲に設定され得る。撮像装置１２０が取り付けられる位置が地面１０に近い場合、俯角Φは負の値、言い換えると、正の仰角を有するようにカメラ光軸λ１の向きが設定されていてもよい。
　農業機械１００が地面１０の上を走行しているとき、ボディ座標系Σｂおよびカメラ座標系Σｃは、ワールド座標系Σｗに対して並進する。走行中、農業機械１００がピッチ、ロール、ヨーの方向に回転または揺動すると、ボディ座標系Σｂおよびカメラ座標系Σｃは、ワールド座標系Σｗに対して回転し得る。以下の説明においては、簡単のため、農業機械１００は、ピッチおよびロールの方向には回転せず、地面１０に対して、ほぼ平行に移動するものとする。
　図３は、地面１０に複数の作物列１２が設けられている圃場の一部を模式的に示す上面図である。作物列１２とは、圃場の地面１０に作物が一方向に連続的に作付けされることによって形成された列である。言い換えれば、作物列１２とは、圃場の畝に植え付けられた作物の集まりのことである。このように、個々の作物列１２は、圃場に植えられた作物の集まりが形成する列であるため、作物列の形状は、厳密には、作物の形状および作物の配置に依存して複雑である。作物列１２の幅は、作物の生育に応じて変化する。隣りあう作物列１２の間には、作物が植えられていない中間領域１４が帯状に存在する。各中間領域１４は、隣りあう２本の作物列１２の間で対向する２本のエッジラインＥに挟まれた領域である。なお、１つの畝に対して、畝の幅方向に複数の作物が作付けされる場合 、１
つの畝上に複数の作物列１２が形成されることになる。即ち、畝の条間に複数の作物列１２が形成されることになる。このような場合は、畝上に形成された複数の作物列１２のうち、畝の幅方向の端に位置する作物列１２のエッジラインＥが、中間領域１４の基準となる。つまり、中間領域１４は、複数の作物列１２のエッジラインＥのうち、畝の幅方向の端に位置する作物列１２のエッジラインＥの間となる。中間領域１４は、農業機械１００の車輪が通過する領域（作業通路）として機能するため、「中間領域」を「作業通路」と称する場合がある。
　本開示において、作物列の「エッジライン」とは、農業機械が走行するときの目標経路を規定するための基準の線分（曲線を含み得る）を意味する。このような基準の線分は、農業機械の車輪の通過が許容される帯状の領域（作業通路）の両端として定義され得る。作物列の「エッジライン」を決定する具体的な方法については、後述する。
　図３には、作物列１２が設けられた圃場に侵入しつつある１台の農業機械１００が模式的に記載されている。この農業機械１００は、左右の前輪１０４Ｆと、左右の後輪１０４Ｒとを走行装置として備えており、作業機（インプルメント）３００を牽引している。前輪１０４Ｆは操舵輪である。
　図３の例では、中央に位置する１本の作物列１２の両側に位置する作業通路１４に、それぞれ、太い破線の矢印Ｌ、Ｒが記載されている。農業機械１００が実線の矢印Ｃで示される目標経路上を走行するとき、農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒは、作物列１２を踏まないように、作業通路１４の中を矢印Ｌ、Ｒに沿って移動することが求
められる。本実施形態では、農業機械１００に取り付けた撮像装置１２０を用いて作物列１２のエッジラインＥを検出できるため、前輪１０４Ｆおよび後輪１０４Ｒが作業通路１４の中を矢印Ｌ、Ｒに沿って移動するように農業機械１００の操舵・走行を制御することが可能になる。このように作物列のエッジラインＥに基づいて、農業機械１００の操舵・走行を制御することを「列倣い走行制御」と呼んでもよい。
　図４は、図３に示す農業機械１００の撮像装置１２０が取得した画像４０の例を模式的に示す図である。地面１０で平行に延びる複数の作物列１２および中間領域（作業通路）１４は、理論的には、地平線１１上にある消失点Ｐ０で交わる。消失点Ｐ０が画像４０の右側の領域に位置している理由は、図３に示されるように、農業機械１００の走行方向Ｆが、作物列１２が延びる方向（矢印Ｃに平行な方向）に対して傾斜しているからである。
　本実施形態では、後述する方法により、日照条件や作物の生育状態が変化しても、このような画像４０から作物列１２を正確に検出し、作物列１２のエッジラインＥを決定することが可能になる。そして、エッジラインＥに基づいて、農業機械１００が進むべき経路（目標経路）を適切に生成することができる。その結果、自動操舵により、農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒが作業通路１４の中を矢印Ｌ、Ｒに沿って移動するように農業機械１００の走行を制御すること（列倣い走行制御）が可能になる。このような列倣い走行制御によれば、ＧＮＳＳなどの測位システムを利用した自動操舵技術では実現困難な、作物の生育状況に応じた精密な自動操舵が可能になる。
　図５は、目標経路（矢印Ｃ）に対する位置誤差を縮小するように農業機械１００を操舵して農業機械１００の位置および向き（ヨー方向の角度）を調整した状態を模式的に示す上面図である。図６は、そのような状態にある農業機械１００の撮像装置１２０が取得した画像４０の例を示す図である。図５の状態にある農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒは、それぞれ、作業通路１４の中を矢印Ｌおよび矢印Ｒで示されるライン上に位置している。中央の矢印Ｃによって示される目標経路Ｃに沿って農業機械１００が走行するとき、農業機械１００における自動操舵装置は、前輪１０４Ｆおよび後輪１０４Ｒが、それぞれ、作業通路１４から逸脱しないように操舵輪の操舵角を制御する。
　以下、本開示の実施形態による列検出システムの構成および動作を詳細に説明する。
　本実施形態による列検出システム１０００は、図７に示すように、前述の撮像装置１２０と、撮像装置１２０から取得した時系列カラー画像の画像処理を行う処理装置１２２とを備える。処理装置１２２は、例えば、農業機械１００が備える自動操舵装置１２４に接続され得る。自動操舵装置１２４は、例えば、農業機械１００の走行を制御する自動運転装置に含まれる。
　処理装置１２２は、画像認識用の電子制御ユニット（ＥＣＵ）によって実現され得る。ＥＣＵは、車載用のコンピュータである。処理装置１２２は、撮像装置１２０が出力する画像データを受け取るように、例えばワイヤハーネスなどのシリアル信号線によって撮像装置１２０に接続される。処理装置１２２が実行する画像認識の処理の一部が撮像装置１２０の内部（カメラモジュール内）で実行されてもよい。
　図８は、処理装置１２２のハードウェア構成例を示すブロック図である。処理装置１２２は、プロセッサ２０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２４、通信装置２６、記憶装置２８を備える。これらの構成要素は、バス３０を介して相互に接続される。
　プロセッサ２０は、半導体集積回路であり、中央演算処理ユニット（ＣＰＵ）またはマ
イクロプロセッサとも称される。プロセッサ２０は、画像処理ユニット（ＧＰＵ）を含んでいてもよい。プロセッサ２０は、ＲＯＭ２２に格納された所定の命令群を記述したコンピュータプログラムを逐次実行し、本開示の列検出に必要な処理を実現する。プロセッサ２０の一部または全部は、ＣＰＵを搭載したＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）またはＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ
　Ｓｐｅｃｉｆｉｃ　Ｓｔａｎｄａｒｄ　Ｐｒｏｄｕｃｔ）であってもよい。
　通信装置２６は、処理装置１２２と外部のコンピュータとの間でデータ通信を行うためのインタフェースである。通信装置２６は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などによる有線通信、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格および／またはＷｉ－Ｆｉ（登録商標）規格に準拠した無線通信を行うことができる。
　記憶装置２８は、撮像装置１２０から取得した画像、または、処理の途中における画像のデータを記憶することができる。記憶装置２８の例は、ハードディスクドライブまたは不揮発性半導体メモリを含む。
　処理装置１２２のハードウェア構成は、上記の例に限定されない。処理装置１２２の一部または全部が農業機械１００に搭載されている必要はない。通信装置２６を利用することにより、農業機械１００の外部に位置する１または複数のコンピュータを処理装置１２２の一部または全部として機能させることも可能である。例えば、ネットワークに接続されたサーバコンピュータが処理装置１２２の一部または全部として機能し得る。一方、農業機械１００が搭載するコンピュータが処理装置１２２に求められるすべての機能を実行してもよい。
　本実施形態では、このような処理装置１２２が、撮像装置１２０から時系列カラー画像を取得し、下記の動作Ｓ１、Ｓ２、Ｓ３を実行する。
　（Ｓ１）時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成する。
　（Ｓ２）強調画像から、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された、地面の上方から見た上面視画像を生成する。
　（Ｓ３）第１画素の前記指標値に基づいて、作物列のエッジラインの位置を決定する。
　以下、動作Ｓ１、Ｓ２、Ｓ３の具体例を詳細に説明する。
　時系列カラー画像は、撮像装置１２０が撮影によって時系列的に取得した画像の集まりである。それぞれの画像は、フレーム単位の画素群によって構成される。例えば、撮像装置１２０が３０フレーム／秒のフレームレートで画像を出力する場合、処理装置１２２は、約３３ミリ秒の周期で新しい画像を取得することが可能である。トラクタなどの農業機械１００が圃場内を走行する速度は、公道を走行する一般の自動車の速度に比べて相対的に低く、例えば時速１０キロメール程度以下であり得る。時速１０キロメートルの場合、約３３ミリ秒で進む距離は約６センチメートルである。このため、処理装置１２２は、例えば１００～３００ミリ秒程度の周期で画像を取得してもよく、撮像装置１２０が撮像するすべてのフレームの画像を処理する必要はない。処理装置１２２が処理の対象とする画像の取得周期は、農業機械１００の走行速度に応じて、処理装置１２２が自動的に変更してもよい。
　図９は、農業機械に搭載された撮像装置（この例では単眼カメラ）が取得した時系列カラー画像における１フレームの画像４０に対応する画像である。図９の画像には、圃場の地面に列状に植えられた作物の列（作物列）が映し出されている。この例において、作物
の列は、地面の上で、ほぼ平行かつ等間隔に並び、撮像装置のカメラ光軸は農業機械の進行方向を向いている。前述したように、カメラ光軸は、農業機械の進行方向に対して平行である必要はなく、農業機械の進行方向の前方で地面に入射していてもよい。撮像装置の取り付け位置は、この例に限定されない。農業機械に複数の撮像装置が取り付けられる場合、幾つかの撮像装置は、進行方向に対して反対の方向、あるいは、進行方向と交差する方向にカメラ光軸を向けていてもよい。
　動作Ｓ１では、図７の処理装置１２２が、撮像装置１２０から取得した時系列カラー画像に基づいて、検出対象である作物列の色を強調した画像（強調画像）を生成する。作物は、太陽光（白色光）を受けて光合成を行うため、クロロフィル（葉緑素）を有している。クロロフィルは、赤色および青色に比べて、緑色の光吸収率が低い。このため、作物によって反射される太陽光のスペクトルは、土壌表面によって反射される太陽光のスペクトルに比べ、緑色の波長範囲で相対的に高い値を示す。その結果、作物の色は、一般に緑色の成分を多く含み、「作物列の色」は、典型例には緑色である。しかし、後述するように、「作物列の色」は、緑色に限定されない。
　撮像装置１２０におけるイメージセンサは、行および列状に配列された多数の光検出セルを有している。個々の光検出セルは、画像を構成する画素（ピクセル）に対応し、赤色の光の強度を検出するＲサブ画素、緑色の光の強度を検出するＧサブ画素、および、青色の光の強度を検出するＢサブ画素を含む。各光検出セルにおけるＲサブ画素、Ｇサブ画素、およびＢサブ画素で検出される光の出力を、それぞれ、Ｒ値、Ｇ値、およびＢ値と呼ぶことにする。以下、Ｒ値、Ｇ値、およびＢ値を総称して「画素値」または「ＲＧＢ値」と呼ぶ場合がある。Ｒ値、Ｇ値、およびＢ値を用いる場合、ＲＧＢ色空間内の座標値によって色を規定することができる。
　検出対象である作物列の色が緑色である場合、作物列の色を強調した強調画像とは、撮像装置が取得したカラー画像における各画素のＲＧＢ値を、Ｇ値のウェイトが相対的に大きな画素値に変換した画像である。強調画像を生成するための、このような画素値の変換は、例えば、「（２×Ｇ値－Ｒ値－Ｂ値）／（Ｒ値＋Ｇ値＋Ｂ値）」で定義される。ここで、分母の（Ｒ値＋Ｇ値＋Ｂ値）は規格化のための因子である。以下、規格化されたＲＧＢ値をｒｇｂ値と称し、ｒ＝Ｒ値／（Ｒ値＋Ｇ値＋Ｂ値）、ｇ＝Ｇ値／（Ｒ値＋Ｇ値＋Ｂ値）、ｂ＝Ｂ値／（Ｒ値＋Ｇ値＋Ｂ値）で定義する。「２×ｇ－ｒ－ｂ」は、緑過剰指標（ＥｘＧ：Ｅｘｃｅｓｓ　Ｇｒｅｅｎ　Ｉｎｄｅｘ）と呼ばれる。
　図１０は、図９の画像におけるＲＧＢ値を、「２×ｇ－ｒ－ｂ」に変換した強調画像４２を示す図である。この変換により、図１０の画像４２において、「ｒ＋ｂ」がｇに比べて相対的に小さな画素は明るく表示され、「ｒ＋ｂ」がｇに比べて相対的に大きな画素は暗く表示される。この変換により、検出対象である作物列の色（この例では「緑色」）を強調した画像（強調画像）４２が得られる。図１０の画像において相対的に明るい画素は、緑色の成分が相対的に大きな画素であり、作物の領域に属している。
　作物の色を強調する「色の指標値」として、緑過剰指標（ＥｘＧ）以外に、例えば、緑赤植生指標（Ｇ値－Ｒ値）／（Ｇ値＋Ｒ値）などの他の指標を用いてもよい。また、撮像装置が赤外カメラとしても機能し得る場合は、「作物列の色の指標値」として、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）を用いてもよい。
　なお、作物列のそれぞれの列が「マルチ」と呼ばれるシート（ｍｕｌｃｈｉｎｇ　ｓｈｅｅｔ）によって覆われていることがある。このような場合、「作物列の色」は、「作物を覆って列状に配置される物体の色」である。具体的には、シートの色が無彩色である黒
の場合、「作物列の色」は「黒」を意味する。また、シートの色が赤色の場合、「作物列の色」は「赤色」を意味する。このように「作物列の色」は、作物そのものの色だけではなく、作物列を規定する領域の色（土壌表面の色から識別可能な色）を意味する。
　「作物列の色」を強調した強調画像の生成には、ＲＧＢ色空間からＨＳＶ色空間への変換を利用してもよい。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の三つの成分によって構成される色空間である。ＲＧＢ色空間からＨＳＶ色空間に変換した色情報を用いることにより、黒または白のような彩度の低い「色」を検出することができる。ＯｐｅｎＣＶのライブラリを利用して「黒」を検出する場合、色相を最大範囲（０～１７９）、彩度を最大範囲（０～２５５）に設定し、明度の範囲を０～３０に設定すればよい。また、「白」を検出する場合は、色相を最大範囲（０～１７９）、彩度を最大範囲（０～２５５）に設定し、明度の範囲を２００～２５５に設定すればよい。このような設定範囲に含まれる色相、彩度、明度を有する画素が、検出するべき色を持つ画素である。なお、例えば緑色の画素を検出する場合、色相の範囲を例えば３０～９０の範囲に設定すればよい。
　検出対象である作物列の色を強調した画像（強調画像）を生成することにより、作物列の領域を、それ以外の背景領域から区分（抽出）すること（セグメンテーション）が容易になる。
　次に、動作Ｓ２を説明する。
　動作Ｓ２では、処理装置１２２が、強調画像４２から、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された上面視画像を生成する。上面視画像は、地面の上方から見た画像である。
　本実施形態では、作物列の色の指標値として、前述した緑過剰指標（ＥｘＧ）を採用し、判別分析法（大津の二値化）によって判別の閾値を決定する。図１１は、図１０の強調画像４２における緑過剰指標（ＥｘＧ）のヒストグラムである。ヒストグラムの横軸が緑過剰指標（ＥｘＧ）であり、縦軸が画像内における画素数（生起頻度に対応）である。図１１には、判別分析法のアルゴリズムによって算出された閾値Ｔｈを示す破線が示されている。強調画像４２の画素は、この閾値Ｔｈによって２つのクラスに分類される。閾値Ｔｈを示す破線の右側には、緑過剰指標（ＥｘＧ）が閾値以上の画素の生起頻度が示されており、これらの画素は作物のクラスに属していると推定される。これに対し、閾値Ｔｈを示す破線の左側には、緑過剰指標（ＥｘＧ）が閾値未満の画素の生起頻度が示されており、これらの画素は土壌などの被作物のクラスに属していると推定される。この例において、指標値が閾値以上の画素である第１画素は、「作物画素」に相当する。一方、この指標値が閾値未満の第２画素は「背景画素」に相当する。背景画素は、土壌の表面など、検出対象以外の物体に対応し、前述した中間領域（作業通路）１４は、背景画素によって構成され得る。なお、閾値の決定方法は、上記の例に限定されず、例えば機械学習を利用した他の方法を用いて閾値を決定してもよい。
　強調画像４２を構成する各画素を「第１画素」および「第２画素」の一方に割り当てることにより、強調画像４２から検出対象の領域を抽出することができる。また、「第２画素」の画素値に「ゼロ」を与えたり、画像データから第２画素のデータを取り除いたりすることにより、検出対象以外の領域をマスクすることができる。マスクするべき領域を確定するとき、緑過剰指標（ＥｘＧ）が局所的に高い値を示す画素をノイズとしてマスク領域に含める処理を行ってもよい。
　図１２は、第１画素と第２画素とに分類された、地面の上方からみた上面視画像４４の
例を示す図である。図１２の上面視画像４４は、後述する画像変換の技術により、図１０の強調画像４２から作成した画像である。この上面視画像４４において、作物列の色の指標値（この例では緑過剰指標）が閾値Ｔｈ未満の第２画素は、黒い画素（明度がゼロに設定された画素）である。第２画素によって構成される領域は、主として地面における土壌の表面が見える領域である。図１２の上面視画像４４には、下辺に接する左右の角部に黒い三角形の領域が存在する。この三角形の領域は、図１０の強調画像４２には映っていなかった領域に相当する。なお、図９の画像４０および図１０の強調画像４２には、本来は直線であるはずの線が画像の周辺部で歪む現象が観察される。このような画像の歪みは、カメラのレンズの性能に起因して生じており、カメラの内部パラメータを用いて補正され得る。作物領域の強調、マスク、歪みの補正などの処理は、前処理と呼ぶことができる。前処理は、このような処理以外の処理を含んでいてもよい。
　図１２の上面視画像４４は、地面に平行な基準平面Ｒｅを、基準平面Ｒｅの法線方向における真上から見た俯瞰画像である。この俯瞰画像は、図１０の強調画像４２からホモグラフィ変換（平面射影変換）によって生成することができる。ホモグラフィ変換は、幾何学的変換の一種であり、３次元空間内の、ある平面上にある点を、他の任意の平面上にある点に変換することができる。
　図１３は、第１の姿勢（位置および向き：ポーズ）にある撮像装置のカメラ座標系Σｃ１、および第２の姿勢にある撮像装置のカメラ座標系Σｃ２のそれぞれと、基準平面Ｒｅとの配置関係を模式的に示す斜視図である。図示される例において、カメラ座標系Σｃ１は、そのＺｃ軸が基準平面Ｒｅに斜めに交わるように傾斜している。第１の姿勢にある撮像装置は、農業機械に取り付けられた撮像装置に相当する。これに対して、カメラ座標系Σｃ２は、そのＺｃ軸が基準平面Ｒｅに直交している。言い換えると、カメラ座標系Σｃ２は、基準平面Ｒｅを、基準平面Ｒｅの法線方向における真上から見た俯瞰画像を取得できるように配置された状態にある。
　カメラ座標系Σｃ１の原点Ｏ１からＺｃ軸でカメラの焦点距離だけ離れた位置に仮想的な画像平面Ｉｍ１が存在する。画像平面Ｉｍ１は、Ｚｃ軸およびカメラ光軸λ１に直交する。画像平面Ｉｍ１上の画素位置は、互いに直交するｕ軸およびｖ軸を有する画像座標系によって定義される。例えば、基準平面Ｒｅ上に位置する点Ｐ１および点Ｐ２の座標が、それぞれ、ワールド座標系Σｗにおいて、（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）であるとする。図１３の例では、ワールド座標系ΣｗのＸｗ軸およびＹｗ軸が基準平面Ｒｅ上にある。このため、Ｚ１＝Ｚ２＝０である。基準平面Ｒｅは、地面に沿って拡がるように設定される。
　基準平面Ｒｅ上の点Ｐ１および点Ｐ２は、それぞれ、ピンホールカメラモデルの透視投影により、第１の姿勢にある撮像装置の画像平面Ｉｍ１上の点ｐ１および点ｐ２に変換される。画像平面Ｉｍ１において、点ｐ１および点ｐ２は、それぞれ、（ｕ１，ｖ１）および（ｕ２，ｖ２）の座標で示される画素位置にある。
　撮像装置が第２の姿勢にある場合、カメラ座標系Σｃ２の原点Ｏ２からＺｃ軸でカメラの焦点距離だけ離れた位置に仮想的な画像平面Ｉｍ２が存在する。この例において、画像平面Ｉｍ２は、基準平面Ｒｅに平行である。画像平面Ｉｍ２上の画素位置は、互いに直交するｕ＊軸およびｖ＊軸を有する画像座標系によって定義される。基準平面Ｒｅ上の点Ｐ１および点Ｐ２は、それぞれ、透視投影により、画像平面Ｉｍ２上の点ｐ１＊および点ｐ２＊に変換される。画像平面Ｉｍ２において、点ｐ１＊および点ｐ２＊は、それぞれ、（ｕ１＊，ｖ１＊）および（ｕ２＊，ｖ２＊）の座標で示される画素位置にある。
　基準平面Ｒｅ（ワールド座標系Σｗ）に対するカメラ座標系Σｃ１、Σｃ２の配置関係
が与えられると、ホモグラフィ変換により、画像平面Ｉｍ１上の任意の点（ｕ，ｖ）から、画像平面Ｉｍ２上で対応する点（ｕ＊，ｖ＊）を求めることができる。このようなホモグラフィ変換は、点の座標を同次座標系で表現すると、３行×３列の変換行列Ｈによって規定される。
Figure JPOXMLDOC01-appb-M000001
　変換行列Ｈの中身は、以下に示すように、ｈ１１、ｈ１２、・・・、ｈ３２の数値によって規定される。
Figure JPOXMLDOC01-appb-M000002
　８個の数値（ｈ１１、ｈ１２、・・・、ｈ３２）は、農業機械１００に取り付けられる撮像装置１２０によって、基準平面Ｒｅ上に置いた校正用ボードを撮影すれば、公知のアルゴリズムを用いて算出することができる。
　基準平面Ｒｅ上の点の座標が（Ｘ，Ｙ，０）の場合、それぞれのカメラの画像平面Ｉｍ１、Ｉｍ２における対応点の座標は、下記の数３および数４の式に示されるように、個々のホモグラフィ変換行列Ｈ１、Ｈ２によって点（Ｘ，Ｙ，０）と対応づけられる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　上記の２式から以下の式が導かれる。この式から明らかなように、変換行列Ｈは、Ｈ２Ｈ１－１に等しい。Ｈ１－１は、Ｈ１の逆行列である。
Figure JPOXMLDOC01-appb-M000005
　変換行列Ｈ１、Ｈ２の中身は、基準平面Ｒｅに依存するため、基準平面Ｒｅの位置が変わると、変換行列Ｈの中身も変化する。
　このようなホモグラフィ変換を利用することにより、第１の姿勢にある撮像装置（農業機械に取り付けられた撮像装置）で取得した地面の画像から、地面の上面視画像を生成することができる。言い換えると、ホモグラフィ変換によれば、撮像装置１２０の画像平面
Ｉｍ１上にある任意の点の座標を、基準平面Ｒｅに対して所定の姿勢にある仮想的な撮像装置の画像平面Ｉｍ２上にある点の座標に変換することができる。
　処理装置１２２は、変換行列Ｈの中身を算出した後、上記のアルゴリズムに基づくソフトウェアプログラムを実行することにより、時系列カラー画像、または時系列カラー画像の前処理画像から、地面１０を上方から見た俯瞰画像を生成する。
　なお、前述の説明では、３次元空間内の点（例えば、Ｐ１、Ｐ２）が、いずれも、基準平面Ｒｅ上に位置していると仮定していた（例えば、Ｚ１＝Ｚ２＝０）。作物の基準平面Ｒｅに対する高さが０ではない場合、ホモグラフィ変換後の上面視画像において、対応点の位置は正しい位置からシフトする。シフト量の増加を抑制するためには、基準平面Ｒｅの高さが検出対象である作物の高さに近いことが望ましい。地面１０には、畝、畦、溝などの凹凸が存在している場合がある。そのような場合、基準平面Ｒｅを、このような凹凸の底部から上方に変位させてもよい。変位の距離は、作物が作付けされる地面１０の凹凸に応じて適切に設定され得る。
　また、農業機械１００が地面１０を走行しているとき、車両本体１１０（図１参照）のロールまたはピッチの運動が生じると、撮像装置１２０の姿勢が変化するため、変換行列Ｈ１の中身が変化し得る。このような場合、ＩＭＵによって車両本体１１０のロールおよびピッチの回転角度を計測すれば、撮像装置の姿勢変化に応じて変換行列Ｈ１および変換行列Ｈを補正することができる。
　本実施形態における処理装置１２２は、上述の方法により、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された、地面の上方から見た上面視画像を生成した後、動作Ｓ３を実行する。
　次に、動作Ｓ３を説明する。
　動作Ｓ３では、処理装置１２２が、第１画素の指標値に基づいて、作物列のエッジラインの位置を決定する。具体的には、上面視画像における複数の走査ラインに沿って第１画素（色の指標値が閾値以上の画素）の指標値を積算する。
　図１４は、３本の作物列１２が映る上面視画像４４の例である。この例において、作物列１２の方向が画像垂直方向（ｖ軸方向）に平行である。図１４は、画像垂直方向（ｖ軸方向）に平行な多数の走査ライン（破線）Ｓが示されている。処理装置１２２は、複数の走査ラインＳ上に位置する画素の指標値を、走査ラインＳごとに積算して積算値を得る。
　図１５は、図１４の上面視画像について得られた、走査ラインＳの位置と指標値の積算値との関係（積算値のヒストグラム）を模式的に示す図である。図１５の横軸は、走査ラインＳの、画像水平方向（ｕ軸方向）における位置を示している。上面視画像４４において、走査ラインＳが横切る画素の多くが作物列１２に属する第１画素である場合、その走査ラインＳの積算値は大きくなる。一方、走査ラインＳが横切る画素の多くが作物列１２の間にある中間領域（作業通路）１４に属する第２画素（背景画素）である場合、その走査ラインＳの積算値は小さくなる。なお、本実施形態において、中間領域（作業通路）１４はマスクされており、第２画素の指標値はゼロである。
　図１５のヒストグラムでは、積算値がゼロまたはゼロに近い凹部領域と、これらの凹部領域によって区分される凸部領域が存在する。凹部領域は、中間領域（作業通路）１４に相当し、凸部領域が作物列１２に相当する。本実施形態では、凸部領域における積算値のピークの両側の所定位置、具体的には、積算値のピークに対して所定の割合（例えば６０
％以上９０％以下の範囲から選択された値）にある積算値を有する走査ラインＳの位置を作物列１２のエッジラインの位置として決定する。図１５における矢印Ｗの両端は、各作物列１２のエッジラインの位置を示している。なお、図１５の例において、各作物列１２のエッジラインの位置は、各作物列１２の積算値のピークに対して８０％の値を持つ走査ラインＳの位置である。
　本実施形態では、第２画素をマスクしたうえで、各走査ラインＳ上における作物列の色の指標値を積算している。すなわち、第１画素と第２画素の分類に基づいて２値化された上面視画像について、第１画素の個数（画素数）をカウントしているのではない。第１画素の個数をカウントする場合、例えば、落ち葉や雑草などに起因して閾値Ｔｈをわずかに超えるような画素（第１画素に分類される）が多数存在する場合、第１画素のカウント値は増加してしまう。これに対して、本開示の実施形態のように、第１画素の個数ではなく、第１画素の作物列の色の指標値を積算することは、落ち葉や雑草に起因する誤判定を抑制し、列検出のロバスト性を高める。
　図１６は、作物列１２が斜めに延びている上面視画像４４の例である。図３および図４を参照して説明したように、農業機械１００の向きによっては、撮像装置１２０が取得する画像４０において作物列１２が延びる方向が画像内で右または左に傾斜し得る。そのような画像からホモグラフィ変換によって上面視画像４４を生成すると、図１６の例にように、作物列１２の方向が、画像垂直方向（ｖ軸方向）から傾斜する。
　図１６にも、画像垂直方向（ｖ軸方向）に平行な多数の走査ライン（破線）Ｓが示されている。処理装置１２２が、このような複数の走査ラインＳ上に位置する画素の指標値を、走査ラインＳごとに積算して積算値を得ると、図１７に示すような積算値のヒストグラムが得られる。図１７は、図１６の上面視画像について得られた、走査ラインＳの位置と指標値の積算値との関係を模式的に示す図である。このヒストグラムからは、作物列１２のエッジラインを決定することができない。
　図１８は、走査ラインＳの方向（角度）を変化させることにより、作物列１２の方向に平行な走査ラインＳの方向（角度）を探索する手順の例を示すフローチャートである。
　ステップＳ１０において、走査ラインＳの方向（角度）を設定する。ここでは、画像座標系におけるｕ軸を基準として時計回りの角度をθとする（図１４、図１６参照）。角度θの探索は、範囲を例えば６０～１２０度に設定し、角度刻みを例えば１度に設定することができる。この場合、ステップＳ１では、走査ラインＳの角度θとして、６０、６１、６２、・・・、１１９、１２０度を与える。
　ステップＳ１２では、それぞれの角度θの方向に延びる走査ラインＳ上の画素について指標値を積算し、積算値のヒストグラムを作成する。ヒストグラムは、角度θに応じて、異なる分布を示すことになる。
　ステップＳ１４では、こうして得た複数のヒストグラムから、図１５に示されるような凹凸の境界が急峻であって、作物列１２が中間領域１４から明確に区分されるようなヒストグラムを選択し、そのヒストグラムを生成する走査ラインＳの角度θを求める。
　ステップＳ１６では、ステップＳ１４で求めた角度θに対応するヒストグラムのピーク値から各作物列１２のエッジラインを決定する。前述したように、ピークの例えば０．８倍の積算値を持つ走査ラインＳの位置をエッジラインとして採用し得る。
　なお、走査ラインＳの方向（角度）を探索するとき、探索範囲内で角度θを１度ずつ変
化させるごとに、その角度θの走査ラインＳ上における積算値のヒストグラムを作成してもよい。ヒストグラムの波形から特徴量（例えば、凹部の深さ／凸部の高さ、包絡線の微分値など）を算出し、その特徴量に基づいて、作物列１２の方向と走査ラインＳの方向とが平行か否かを判定してもよい。
　なお、角度θを求める方法は、上記の例に限定されない。作物列の延びる方向が測定によって既知である場合、農業機械１００に搭載した慣性計測装置（ＩＭＵ）によって農業機械の方向を測定し、作物列の延びる方向に対する角度θを求めてもよい。
　図１９は、図１２の上面視画像から作成した、積算値ヒストグラムの例を示す図である。中央に位置するヒストグラムの凸部について、そのピーク値の０．８倍の走査ライン位置をエッジラインＥの位置としている。このヒストグラムでは、走査ライン位置が中央から左右に離れるにしたがって、凸部のピークが低くなり、かつ、凸部のピークが拡がっている。これは、図１２の画像から明らかなように、上面視画像の中央では、画像の歪みが少ないのに対して、中央から左右に離れるしたがって、画像の歪みが大きくなっていることや、下辺の両側に位置する黒い三角形領域が積算値を低下させることに起因している。
　作物列の検出を農業機械の走行に利用する場合、正確に検出するべき作物列は、画像の中央、または、その周辺である。そのため、上面視画像における左右両端に近い領域における歪みは無視することができる。
　図２０は、本実施形態における処理装置１２２が実行する一連の処理を示すブロック図である。図２０に示されるように、処理装置１２２は、画像取得３２、強調画像生成３３、作物列抽出３４、およびホモグラフィ変換３５を実行することにより、例えば図１６に示すような上面視画像４４を得ることができる。処理装置１２２は、更に、走査ライン方向決定３６、エッジライン位置決定３７を実行することにより、作物列のエッジラインの位置を得ることができる。この後、処理装置１２２、または、処理装置１２２からエッジラインの位置を示す情報を得た経路生成装置は、エッジラインに基づいて、農業機械の目標経路生成３８を実行することができる。目標経路は、農業機械が備える車輪が、エッジラインＥに挟まれる中間領域（作業通路）１４の中に維持されるように生成され得る。例えば、タイヤの幅方向における中央部が、中間領域（作業通路）１４の両端に位置する２本のエッジラインの中央を通るように目標経路が生成され得る。このような目標経路によれば、農業機械が走行中に目標経路から数センチメール程度外れても、タイヤが作物列に侵入する可能性を低下させることが可能になる。
　本開示の実施形態によれば、順光、逆光、晴天、曇天、霧などの気象条件や作業時間帯によって変化する日照条件の影響を抑制し、高い精度での作物列の検出が可能になることを確認した。また、作物の種類（キャベツ、ブロッコリ、大根、人参、レタス、白菜などの種別）、生育状態（苗から成長した状態まで）、病害有無、落ち葉・雑草の有無、土壌色が変化してもロバスト性の高い作物列の検出が可能になることを確認した。
　なお、上記の実施形態では、二値化の閾値を求め、閾値以上の画素によって作物領域を抽出するステップを行った後、ホモグラフィ変換を実行している。しかし、作物領域を抽出するステップは、ホモグラフィ変換の後に実行してもよい。具体的には、図２０に示される１連の処理において、ホモグラフィ変換３５は、強調画像生成３３と作物列抽出３４との間に実行されてもよいし、画像取得３２と強調画像生成３３との間に実行されてもよい。
　以下、本開示による作物検出システムが実行する列検出方法の改変例を説明する。
　図２１は、上面視画像の一部または全部を複数のブロックに分割し、複数のブロックのそれぞれについて、エッジラインの位置を決定する方法を説明するための図である。
　本改変例において、処理装置１２２は、上面視画像４４の一部または全部を複数のブロックに分割する。そして、複数のブロックのそれぞれについて、作物列１２のエッジラインＥの位置を決定する。図示される例において、３つのブロックＢ１、Ｂ２、Ｂ３が、上面視画像内において、画像水平方向に連続する帯形状を有している。処理装置１２２は、農業機械１００の進行方向とは異なる方向の帯形状に基づいて、作物列のエッジラインを決定することができる。
　図２２は、図２１の上面視画像のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける、走査ラインＳの位置と指標値の積算値との関係（積算値ヒストグラム）を模式的に示す図である。積算を行うときの走査ラインＳは、常に画像垂直方向に平行である。指標値の積算は、ブロック単位で行われ、走査ラインＳの方向（角度）を変える必要はない。走査ラインＳの長さを短縮することにより、作物列１２が斜めに延びていても、中間領域（作業通路）１４に起因する第２画素（背景画素）の領域を適切に検出することが可能になる。このため、走査ラインＳの角度を変化させる必要がなくなる。
　図２２における矢印Ｗの両端は、ブロックＢ１、Ｂ２、Ｂ３のそれぞれで決定された、作物列のエッジラインの位置を示している。図２１に示される例において、作物列１２の方向は、走査ラインＳの方向に対して傾斜している。このため、前述したように、積算値ヒストグラムのピーク値を基準に０．８倍の値を示す走査ライン位置を、作物列１２のエッジラインＥの位置として採用する場合、そのようなエッジラインＥの位置とは、ブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列１２の中央付近を通る「幅」の両端に相当する。
　図２３は、図２２のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列中心Ｗｃを示している。作物列中心Ｗｃは、図２２の積算値ヒストグラムから求めた作物列のエッジラインを規定する矢印Ｗの中心から求められ、各ブロックの画像垂直方向における中央に位置している。図２３には、同一の作物列１２に属する作物列中心Ｗｃに対する近似線１２Ｃの例が示される。近似線１２Ｃは、例えば、各作物列１２の複数の作物列中心Ｗｃから距離（誤差）の二乗平均が最小になるように求められた直線である。このような近似線１２Ｃは、作物列１２の中央を通るラインに相当する。
　図２４は、図２３の近似線１２Ｃから決定した作物列１２のエッジラインＥの例を示す上面図である。この例において、各作物列１２に対応付けられる２本のエッジラインＥは、その間隔が矢印Ｗの長さに等しく、近似線１２Ｃから等距離の位置にある。
　本改変例によれば、走査ラインの方向（角度）を変化させる必要がなく、より少ない演算量で作物列１２のエッジラインＥを求めることができる。なお、各ブロックの画像垂直方向における長さは、例えば、地面における１～２メートルの距離に相当するように設定され得る。本改変例では、１つの画像を３つのブロックに分割して積算値ヒストグラムを求めたが、ブロックの個数は４個以上であってもよい。また、ブロックの形状も上記の例に限定されない。ブロックは、上面視画像内において、画像水平方向又は画像垂直方向のいずれかの方向に連続する帯形状を有し得る。処理装置１２２は、農業機械１００の進行方向とは異なる方向に延びる帯形状のブロックに分割すること、作物列のエッジラインを決定することができる。
　図２５は、上面視画像４４の作物列１２が曲線上に曲がる部分を含む様子を模式的に示している。図２６は、図２５の上面視画像４４のブロックＢ１、Ｂ２、Ｂ３のそれぞれに
おける積算値ヒストグラムを模式的に示している。
　図２７は、図２６のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列中心Ｗｃと、各作物列中心Ｘｃに対する近似線１２Ｃの例を示す図である。この例における近似線１２Ｃは、例えば、各作物列１２の作物列中心Ｗｃからの距離（誤差）の二乗平均が最小になるように求められた曲線（例えば３次曲線などの高次の曲線）である。このような近似線１２Ｃは、曲線部分を有する作物列１２の中央を通る湾曲したラインに相当する。
　図２８は、図２７の近似線から決定した作物列１２のエッジラインＥの例を示す上面図である。エッジラインＥは、図２４を参照して説明した方法と同様の方法で生成される。すなわち、各作物列１２に対応付けられる２本のエッジラインＥは、その間隔が矢印Ｗの長さに等しく、近似線１２Ｃから等距離の位置にある。
　以上、説明してきたように、上面視画像を複数のブロックに分割して、それぞれのブロックで積算値のヒストグラムを生成すれば、作物列の方向を求めることが容易になり、また、作物列の方向が途中で変化していても、その変化した方向を知ることが可能になる。
　上記の列検出方法は、いずれも、コンピュータに実装され、コンピュータに所望の動作を実行させることによって実施され得る。
　（実施形態２）
　本開示の例示的な第２の実施形態における列検出システムおよび列検出方法を説明する。本実施形態では、「列検出」として畝の検出が行われる。
　図２９は、地面１０に設けられた畝１６の列を模式的に示す斜視図である。「畝」は、筋まきや筋植えをする植物の作付けが行われる場所であり、間隔をおいて土が高く盛り付けられた、ほぼ直線状に延びる凸部である。畝１６が延びる方向に垂直な、畝１６の断面形状は、概略的に、台形、かまぼこ形、半円形であり得る。図２９では、台形の断面を有する畝１６が模式的に記載されている。実際の畝は、図２９に示されるような単純な形状を有しているわけではない。隣接する２つの畝１６の間は中間領域１４であり、畝間（うねま）と呼ばれる。中間領域１４は、作業通路として機能する。畝１６には、作物が作付けされていてもよいし、作付けが行われておらず、全体として土壌だけが露出していてもよい。また、畝１６のそれぞれをマルチが覆っていてもよい。
　畝１６の高さ、幅、間隔は、一様である必要はなく、場所によって変動していてもよい。畝１６の高さは、一般的には、畝間に対する畝の高低差である。本明細書において、畝１６の「高さ」とは、前述した基準平面Ｒｅから、それぞれの畝１６の上面までの距離によって定義される。
　図２９の例において、畝１６のエッジラインは明確である。しかし、現実の畝１６は、中間領域１４から連続した地面１０の一部であり、上述したように畝１６の「断面形状」も多様であるため、畝１６と中間領域１４との境界は、必ずしも明確ではない。本開示の実施形態において、畝１６のエッジライン、すなわち、畝１６と中間領域１４との境界は、各畝１６のピークの両側に位置し、かつ、そのピークに対して所定割合の高さにある位置と定義される。エッジラインの位置は、例えば、各畝１６のピークに対して、０．８倍の高さを有する位置である。
　本実施形態による列検出システム１０００も、図７に示すように、撮像装置１２０と、撮像装置１２０から取得した時系列カラー画像の画像処理を行う処理装置１２２とを備える。処理装置１２２のハードウェア構成は、第１実施形態における処理装置１２２の構成
と同じである。
　本実施形態において、処理装置１２２は、撮像装置１２０から時系列画像を取得し、下記の動作Ｓ２１、Ｓ２２、Ｓ２３を実行する。
　（Ｓ２１）時系列画像の異なる時刻に取得された複数の画像から、特徴点マッチングにより、複数の特徴点のそれぞれの、画像平面内における第１移動量を求める。
　（Ｓ２２）複数の特徴点のそれぞれを、画像平面から、地面に対応する基準平面に透視投影し、第１移動量に基づいて基準平面内における各投影点の第２移動量を求める。
　（Ｓ２３）第２移動量に基づいて、複数の特徴点の基準平面からの高さを推定して地面の畝を検出する。
　以下、動作Ｓ２１、Ｓ２２、Ｓ２３の具体例を詳細に説明する。
　まず、動作Ｓ２１を説明する。動作Ｓ１１では、時系列画像の異なる時刻に取得された複数の画像から、特徴点マッチングにより、複数の特徴点のそれぞれの、画像平面内における第１移動量を求める。時系列画像は、撮像装置１２０が撮影によって時系列的に取得した画像の集まりである。時系列画像は、カラー画像である必要はないが、カラー画像であってもよい。撮像装置１２０が時系列カラー画像を出力する場合、処理装置１２２が時系列カラー画像の処理対象カラー画像をグレイスケール化してもよい。第１実施形態について説明したように、それぞれの画像は、フレーム単位の画素群によって構成される。フレームレートも第１実施形態について説明した通りである。
　図３０は、農業機械１００に搭載された撮像装置（この例では単眼カメラ）１２２が時刻ｔに取得した時系列画像における１フレームの画像４０（ｔ）である。この例において、畝１６に作物は作付けされていない。単眼カメラで撮影された画像４０（ｔ）のデータには、奥行き情報は含まれていない。このため、一枚の画像４０（ｔ）から、畝１６および中間領域１４の間にある高低差を知ることはできない。
　撮像装置１２０は、時刻ｔだけではなく、他の時刻、例えば、時刻ｔ＋１、ｔ＋２、ｔ＋３、・・・において、時系列的に画像４０（ｔ＋１）、画像４０（ｔ＋２）、画像４０（ｔ＋３）、・・・を取得する。農業機械１００が走行中に撮像装置１２０が時系列的に取得する複数の画像には、それぞれ、地面１０の同一領域が部分的に重複して含まれ得る。
　本実施形態では、処理装置１２２が、画像４０（ｔ）、画像４０（ｔ＋１）、・・・から特徴点を抽出する。「特徴点」とは，画素の輝度値または色が周囲の画素から区別でき、その画素の位置を画像内で特定できる点である。画像中の特徴点を抽出することにより、同じシーンを撮影した複数の画像を互いに対応づけることが可能になる。画像中で輝度値および色が一様な領域では、その領域内の画素を周囲の画素から区別することが難しい。このため、特徴点は、画像内で輝度値または色が局所的に変化する領域から選択される。特徴点は「局所特徴量」を有する画素または画素群である。
　本実施形態において特徴点を抽出する目的は、農業機械１００が移動中に取得する時系列画像４０（ｔ）、画像４０（ｔ＋１）、・・・から、特徴点マッチングを行うことにより、特徴点の移動量を測定することにある。このような特徴点マッチングに適した特徴点の抽出は、処理装置１２２が画像処理によって実行することができる。画像処理による特徴点抽出アルゴリズムの例は、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ　ｆｅａｔｕ
ｒｅ　ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐｐｅｄ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅ）、ＫＡＺＥ、Ａ－ＫＡＺＥ（ＡＣＣＥＬＥＲＡＴＥＤ－ＫＡＺＥ）を含む。ＫＡＺＥおよびＡ－ＫＡＺＥは、ＳＩＦＴまたはＳＵＲＦと同様に、拡大縮小・回転・照明変化に強く、ロバスト性の高い特徴点抽出アルゴリズムである。ＫＡＺＥおよびＡ－ＫＡＺＥは、ＳＩＦＴおよびＳＵＲＦとは異なり、ガウスフィルターを用いない。このため、ＫＡＺＥおよびＡ－ＫＡＺＥは、回転、スケール、輝度値の変化に影響されにくく、画像内の輝度値および色の変化が比較的小さな領域からも特徴点を抽出することできる。このため、土壌表面のような画像からも、特徴点マッチングに適した特徴点の抽出が容易になる。また、Ａ－ＫＡＺＥには、ＫＡＺＥに比べて、ロバスト性が高く、処理速度を高められるという利点がある。本実施形態では、Ａ－ＫＡＺＥのアルゴリズムにより、特徴点の抽出を行う。ただし、特徴点マッチングのためのアルゴリズムは、この例に限定されない。
　図３１は、撮像装置から時刻ｔに取得した画像４０（ｔ）と、時刻ｔ＋１に取得した画像４０（ｔ＋１）との間にある特徴点の対応関係を模式的に示している。ここで、時刻ｔと刻ｔ＋１との間にある時間の間隔は、例えば、１００ミリ秒以上５００秒であり得る。
　画像４０（ｔ）から抽出された複数の特徴点と、画像４０（ｔ＋１）において、それら複数の特徴点にそれぞれ対応する複数の特徴点との対応付けは、特徴点マッチングのアルゴリズムによって実行される。図３１では、８組の対応する特徴点ペアが矢印で結ばれている。本実施形態において、処理装置１２２は、画像４０（ｔ）および画像４０（ｔ＋１）のそれぞれから、Ａ－ＫＡＺＥにより、例えば数百から千個数を超える特徴点を抽出することが可能である。抽出する特徴点の個数は、１秒間に処理する画像の枚数に基づいて決定され得る。
　このような特徴点マッチングを行った後、処理装置１２２は、複数の特徴点のそれぞれについて、画像平面内における移動量（第１移動量）を求める。２枚の画像４０（ｔ）および画像４０（ｔ＋１）から求められる第１移動量は、すべての特徴点に共通の値を有するわけではない。第１移動量は、地面１０にある特徴点の物理的な高低差に起因して、異なる値を示す。
　図３２は、撮像装置１２０が取得する画像に映る畝１６および中間領域（作業通路）１４の移動を模式的に示す斜視図であり、画像４０（ｔ）および画像４０（ｔ＋１）も模式的に示されている。図３２には、畝１６上の点Ｆ１、および中間領域（畝間または作業通路）１４上の点Ｆ２が図面の左側に水平に移動する様子が模式的に示されている。この水平移動は、農業機械１００に固定された撮像装置１２０が農業機械１００とともに右側に移動することによって生じる相対運動である。図３２では、簡単のため、撮像装置１２０におけるカメラ座標系Σｃの原点Ｏは静止し、地面１０が左側に向かって移動する様子が記載されている。カメラ座標系Σｃの原点Ｏの高さはＨｃである。図の例において、畝１６は、高さｄＨを有する単純化されたリッジである。
　図３２の画像４０（ｔ）には、畝１６の特徴点ｆ１と、中間領域１４の特徴点ｆ２とが示されている。これらの特徴点ｆ１、ｆ２は、Ａ－ＫＡＺＥなどの特徴点抽出アルゴリズムによって抽出された多数の特徴点の例である。画像４０（ｔ＋１）には、移動後における特徴点ｆ１、ｆ２が示されている。また、画像４０（ｔ＋１）には、参考のため、時刻ｔからｔ＋１までの時間における特徴点ｆ１の移動を示す矢印Ａ１と、特徴点ｆ２の移動を示す矢印Ａ２が記載されている。矢印Ａ１の長さ（第１移動量の相当）は、矢印Ａ２の長さ（第１移動量の相当）よりも大きい。このように、画像内における特徴点の移動量（第１移動量）とは、カメラ座標系Σｃの原点Ｏから被写体の対応点までの距離によって異なる。これは、透視投影の幾何学的な性質に起因する。
　画像４０（ｔ）内の特徴点ｆ１、ｆ２は、それぞれ、被写体である地面１０の表面における点Ｆ１、Ｆ２を、撮像装置１２０の画像平面Ｉｍ１に透視投影した点である。同様に、画像４０（ｔ＋１）内の特徴点ｆ１、ｆ２は、それぞれ、被写体である地面１０の表面における点Ｆ１＊、Ｆ２＊を、撮像装置１２０の画像平面Ｉｍ１に透視投影した点である。透視投影の中心点は、撮像装置１２０のカメラ座標系Σｃの原点Ｏである。透視投影は、双方向の関係にあるため、点Ｆ１、Ｆ２は、画像４０（ｔ）内の特徴点ｆ１、ｆ２を地面１０に透視投影した点であるともいえる。同様に、点Ｆ１＊、Ｆ２＊は、画像４０（ｔ）内の特徴点ｆ１、ｆ２を地面１０に透視投影した点であるともいえる。
　図３２に示されるように、時刻ｔから時刻ｔ＋１までの間に、畝１６上の点Ｆ１は点Ｆ１＊の位置まで移動し、中間領域１４上の点Ｆ２は、点Ｆ２＊の位置まで移動する。これらの移動の距離は、いずれも、時刻ｔから時刻ｔ＋１までの間に農業機械１００の走行した距離（水平移動距離）に等しい。これに対して、撮像装置１２０の画像平面Ｉｍ１上における特徴点ｆ１、ｆ２の移動量は、相互に異なる。
　図３３は、撮像装置１２０の画像平面Ｉｍ１における特徴点ｆ１に対応する畝１６上の点Ｆ１の移動量（Ｌ）と、基準平面Ｒｅに投影された点（投影点）Ｆ１ｐの移動量（第２移動量Ｌ＋ｄＬ）との関係を模式的に示す図である。この例では、基準平面Ｒｅの高さを中間領域（畝間）１４の高さに一致させており、畝１６の高さをｄＨとしている。
　図３３からわかるように、畝１６上の点Ｆ１は、農業機械１００の走行距離に等しい距離（移動量）Ｌだけ左側に移動しているが、基準平面Ｒｅに透視投影された点（投影点）Ｆ１ｐの移動量（第２移動量）は、Ｌ＋ｄＬで表され、Ｌよりも長い。これは、畝１６上の点Ｆ１が、基準平面Ｒｅよりも高い位置にあり、透視投影の中心（カメラ座標系原点Ｏ）に近いからである。この余分の長さｄＬに対応して、画像平面Ｉｍ１上での移動量（第１移動量）も増加している。
　図３３に示される相似な２つの三角形における辺の長さの比率（相似比）から、以下の式が導かれる。
Figure JPOXMLDOC01-appb-M000006
　上式を変形すると、下記の式が得られる。
Figure JPOXMLDOC01-appb-M000007
　本実施形態における処理装置１２２は、上記の式に基づいて、地面１０における凹凸段差の大きさを推定するため、動作Ｓ２２を実行する。すなわち、複数の特徴点のそれぞれを、画像平面から、地面１０に対応する基準平面Ｒｅに透視投影し、第１移動量に基づいて基準平面Ｒｅ内における各投影点の第２移動量（Ｌ＋ｄＬ）を求める。上記の式における距離Ｌは、農業機械１００の走行距離を計測することによって取得することができる。また、カメラ座標系原点Ｏの基準平面Ｒｅからの高さＨｃは既知である。このため、第２移動量（Ｌ＋ｄＬ）が分かれば、数７の式から、畝１６の高さｄＨを算出することができる。そして、第２移動量（Ｌ＋ｄＬ）は、第１移動量から求めることができる。
　処理装置１２２は、動作Ｓ２２を実行した後、動作Ｓ２３を実行する。
　動作Ｓ２３において、処理装置１２２は、各特徴点の第２移動量（Ｌ＋ｄＬ）に基づいて、各特徴点の基準平面Ｒｅからの高さｄＨを推定し、地面１０の畝１６を検出する。
　このように本実施形態では、透視投影の中心点Ｏの基準平面Ｒｅからの高さをＨｃ、複数の特徴点の基準平面Ｒｅからの高さをｄＨ、基準平面Ｒｅ上の（ｄＨがゼロである）特徴点の第２移動量をＬ、ｄＨがゼロよりも大きな特徴点の前記第２移動量をＬ＋ｄＬとするとき、Ｈｃ・（１．０－Ｌ／（Ｌ＋ｄＬ））を各特徴点の高さとして決定することができる。
　第１移動量から第２移動量を決定するとき、ホモグラフィ変換を利用することができる。具体的には、前述した変換行列Ｈ１の逆行列Ｈ１－１を用いて、画像平面Ｉｍ１における各特徴点の座標を、基準平面Ｒｅ上における対応点の座標に変換すればよい。したがって、処理装置１２２は、まず、画像平面Ｉｍ１における各特徴点の移動前後における座標から第１移動量を求める。次に、各特徴点の座標をホモグラフィ変換によって基準平面Ｒｅ上における対応点の座標に変化した後、基準平面Ｒｅ上における移動前後における座標から第２移動量を求めることができる。
Figure JPOXMLDOC01-appb-M000008
　図３４は、第２実施形態における処理装置１２２が実行する一連の処理を示すブロック図である。図３４に示されるように、処理装置１２２は、画像取得５２、特徴点マッチング５３、移動量計算５４、および特徴点高さ推定５５を実行する。その結果、画像の中の多数の特徴点のそれぞれについて、基準平面Ｒｅからの高さの推定値を得ることができる。このような高さの推定値の二次元マップは、地面１０の表面にある凹凸の高低差分布を示している。
　第１実施形態について説明したように、本実施形態でも、複数の走査ラインを設定する。ただし、本実施形態では、各走査ラインに沿って特徴点の高さの平均値を計算する。また、走査ラインの方向（角度）を変化させることにより、特徴点の高さ平均値の分布から、畝の延びる方向を見つけることができる。畝１６の延びる方向を決定できれば、作物列１２のエッジラインを決定した方法と同様の方法により、畝１６のエッジラインを決定することができる。なお、図２１などを参照して説明したように、画像を複数のブロックに分割する方法を採用すれば、走査ライン方向決定５６は省略され得る。
　こうして、本実施形態における処理装置１２２は、図３４に示すように、走査ライン方向決定５６、エッジライン位置決定５７、および目標経路生成５８を実行する。
　図３５は、畝が延びる方向に平行な走査ライン上における特徴点の高さの平均値と、走査ラインの位置との関係を示す図である。図３５のグラフでは、横軸が走査ラインの位置を示し、縦軸が各走査ライン上の特徴点の高さ平均値である。グラフに示されるように、高さ平均値は、走査ラインの位置が左から右に移動するにともなって、増減を繰り返している。高さ平均値がピークを示す位置が畝の中心に相当している。なお、高さ平均値を示す曲線は、２つの隣り合うピークの中間で谷底を形成している。この谷底が中間領域（畝間または作業通路）１４の中央付近に相当している。
　本実施形態において、処理装置１２２は、高さ平均値が示すピークの位置の両側にあってピークの所定割合（例えば０．８倍）の高さを持つ位置を、畝のエッジラインとして決定する。図３５のグラフの上方には、画像内の２つの畝について、それぞれのエッジラインの位置を示す白の矢印が記載されている。
　なお、本実施形態でも、図２１から図２８を参照して説明したように、画像を複数のブロックに分割し、ブロックごとに走査ライン上における特徴点の高さの平均値を求めてもよい。
　本実施形態によれば、列検出が「作物列の色」に依存しないため、作物の種類や日照条件によって影響されにくい利点がある。野菜作で設けられることの多い「高畝」のように高い畝の検出だけではなく、高さが５～１０センチメートルの範囲にある比較的低い畝であっても検出できることを確認した。
　第１実施形態における作物列の検出と、第２実施形態における畝の検出とを、処理装置１２２が同時または選択的に実行してもよい。畝に作物が作付けられている場合、処理装置１２２は、第１実施形態における作物列検出システムおよび第２実施形態における畝検出システムとして機能し得る。その場合、作物列のエッジラインと畝のエッジラインが決定される。農業機械の目標経路は、両方または一方のエッジラインに基づいて決定することができる。
　処理装置１２２は、作物列検出および畝検出のそれぞれについて、検出の信頼度を算出してもよい。作物列検出の信頼度は、例えば、図２２に示される指標値の積算値の分布、あるいはピーク値の大きさなどに基づいて決定してもよい。畝検出の信頼度は、例えば、図３５に示される高さの分布における極大値と極小値との差の大きさなどに基づいて決定してもよい。例えば、検出された作物列のエッジラインに基づいて目標経路が生成され、農業機械がその目標経路に沿って走行しているとき、作物列検出が不能になったり、信頼度が所定レベル未満に低下したりした箇所では、畝のエッジラインに基づいて目標経路が生成されるように、バックグラウンドで畝検出が実行されていてもよい。
　なお、処理装置１２２が作物列検出および畝検出の両方を実行し得る場合において、ユーザの選択に応じて、作物列検出および畝検出の一方、または両方を実行するようにしてもよい。
　（実施形態３）
　以下、本開示による列検出システムの第３実施形態を説明する。
　前述の各実施形態では、画像の全体から列を検出することが可能である。本実施形態では、列検出の対象領域、すなわち列のサーチ範囲を画像の一部に限定する。
　本実施形態における列検出システム２０００は、農業機械１００に取り付けられる処理装置１２２を備える。本実施形態における農業機械１００は、１または複数の車輪を有する。図３６は、本実施形態における列検出システム２０００の基本的な構成例を示している。列検出システム２０００は、他の実施形態と同様のハードウェア構成を有する処理装置１２２を備えている。この処理装置１２２は、時系列画像から、作物列および畝の少なくとも一方を検出するためのサーチ領域を選択する。このサーチ領域は、車輪の少なくとも一部を含む大きさおよび形状を有している。
　図３７は、処理装置１２２が撮像装置１２０から取得した画像４０の例を示している。画像４０は、時系列画像の一枚である。この画像４０には、作物列１２、中間領域１４、
農業機械１００の車両本体１１０の一部、および前輪１０４Ｆの一部が映っている。図３７には、参考のため、エッジラインが白線によって示されている。
　図３８は、図３７の画像の一部を示す図である。図３８では、画像４０に映る農業機械１００の車両本体１１０の一部と、前輪１０４Ｆの一部が白い線で囲まれている。図３８の画像４０には、前輪１０４Ｆの一部を含む台形の破線によってサーチ領域６０の一例が示されている。このサーチ領域６０は、画像４０内にある作物列および畝の少なくとも一方のうち、前輪１０４Ｆに対して左側に位置する作物列または畝から、右側に位置する作物列または畝までを含む形状を有している。
　図１２に例示される画像からわかるように、上面視画像の中でも中心部に比べて周辺部では歪みを大きい。その結果、例えば図１９に示されるように、走査ラインの位置が中央部から離れるにしたがってピークの値は低下し、ピークの間隔は広がっている。
　一方、目標経路の選択に必要な、検出すべき作物列または畝は、走行する農業機械の前方付近にある。より具体的には、農業機械の走行装置が有する車輪の周辺に位置する作物列または畝を正確に検出できればよい。本実施形態では、撮像装置１２０によって取得されたる画像の全体ではなく、一部の領域に限定して列検出を行うことにより、処理装置１２２が行う演算の量、演算に必要な時間を削減することが可能になる。また、画像の周辺における歪みに起因する外れ値を除外できるため、列検出の正確度も高まる。
　サーチ領域６０の選択（領域設定）は、撮像装置１２０を農業機械１００に取り付ける位置および向き、さらには、農業機械１００の構造または形状に依存する。例えば、撮像装置１２０を農業機械１００に取り付けた後、撮像装置１２０から得られる画像をモニタ画面で確認しながら、サーチ領域６０の範囲（形状、大きさ、位置）を手動で決定してもよい。また、撮像装置１２０の光学的性能、取り付け位置、農業機械の機種などから、サーチ領域６０の範囲を確定し、処理装置１２２に入力しておいてもよい。
　本実施形態における処理装置１２２は、図３８に示されるような画像４０から、例えば画像認識技術を利用して、車輪１０Ｆの少なくとも一部を検出するように構成されていてもよい。その場合、検出された前輪１０４Ｆの少なくとも一部を含む領域を、サーチ領域６０として選択するように、サーチ領域６０の範囲を適応的に変更することも可能になる。
　処理装置１２２は、サーチ領域６０に含まれる前輪１０４Ｆの一部の画像に基づいて、検出された作物列１２および畝１６の少なくとも一方と前輪１０４Ｆとの位置関係を推定してもよい。処理装置１２２は、このような位置関係に基づいて、検出された作物列１２および畝１６の少なくとも一方と農業機械１００との位置関係を推定するように構成され得る。
　なお、処理装置１２２が農業機械１００に対する前輪１０４Ｆの正確な位置を示す情報を有していない場合がある。このような位置を示す情報とは、例えば、農業機械１００に固定されたボディ座標系Σｂに対における前輪１０４Ｆの座標である。このような座標は、あらかじめ処理装置１２２の記憶装置２８に格納されていたとしても、例えば、ユーザが前輪１０４Fのタイヤサイズを変更したり、左右における前輪１０４Fの間隔を変更したりすると、正確性が失われる。そのような場合、処理装置１２２は、サーチ領域６０に含まれる前輪１０４Ｆの一部を検出し、検出した前輪１０４Ｆの一部の画像に基づいて、農業機械１００に対する前輪１０４Ｆの位置を推定してもよい。
　図３９は、作物列１２が設けられた地面１０の一部を模式的に示す上面図である。図３
９には、一対の前輪１０４Ｆが記載されている。このような上面図の矩形エリア６２は、図３８の画像のサーチ領域６０に対して前述のホモグラフィ変換を行うことによって生成された上面視画像である。図３９において、図３８のサーチ領域６０に映っていた車両本体１１０の記載は省略されている。また、サーチ領域６０に映っていた前輪１０４Ｆの一部の画像については、ホモグラフィ変換によって大きく変形するため、図３９では、前輪１０４Ｆを、基準平面Ｒｅに「平行投影」した図形の形状を記載している。更に、参考のため、図３９には、前輪１０４Ｆが地面１０に接触するタイヤトレッド（接地面）ＣＡが模式的に記載されている。左右にあるタイヤトレッドＣＡの中心間距離Ｔは、「トレッド幅（ｔｒａｃｋ）」である。
　一般に、農業機械１００の車両本体１１０に対して、タイヤトレッドＣＡの位置は既知である。このため、サーチ領域６０の上面視画像（矩形エリア）６２に対するタイヤトレッドＣＡの位置関係も既知である。しかし、本実施形態のように、サーチ領域６０が１または複数の車輪の少なくとも一部を含むように設定されることにより、以下の効果を得ることができる。
　・車両本体１１０の構造は機種により異なり、トレッド幅（タイヤトレッドＣＡの中心間距離）Ｔも、機種によって異なり得る。また、同一の機種であっても、前述したようにユーザがトレッド幅Ｔを変更することがある。このため、サーチ領域６０の形状およびサイズを、画像に映る車輪１０４を含むように選択することは、多様な機種に対応可能な画像処理を実現し、ユーザによってトレッド幅Ｔが変更される場合に対応可能にする。
　・タイヤトレッドＣＡの位置をボディ座標系Σｂの座標として前もって入力することが必ずしも必須では無くなる。撮像装置１２０が取得した画像に基づいて、ボディ座標系Σｂにおける前輪１０４Ｆ、あるいはタイヤトレッドＣＡの座標を自動的に取得することが可能になる。
　・列検出システムが決定した列のエッジライン、あるいは、エッジラインに基づいて生成された目標経路と車輪との位置誤差を画像に基づいてモニタすることが可能になる。
　なお、前述したように、ホモグラフィ変換によって地面の上面視画像を生成した場合、車輪は変形する。列のエッジラインまたは目標経路に対する車輪（特にタイヤトレッドＣＡ）の位置関係を正確には推定するためには、ホモグラフィ変換の補正を行うことが望ましい。以下、この点を説明する。
　図４０は、画像４０内に映っている前輪１０４Ｆの一部に含まれる点Ｐ３、Ｐ４と、これらの点Ｐ３、Ｐ４を基準平面Ｒｅ上に透視投影した対応点Ｐ３’、Ｐ４’との位置関係を模式的に示す図である。ワールド座標系における点Ｐ３、Ｐ４の座標を、それぞれ、（Ｘ３，Ｙ３，Ｚ３）、（Ｘ４，Ｙ４，Ｚ４）とする。また、ワールド座標系における対応点Ｐ３’、Ｐ４’の座標を、それぞれ、（Ｘ３’，Ｙ３’，０）、（Ｘ４’，Ｙ４’，０）とする。図４０からわかるように、点Ｐ３、Ｐ４は、基準平面Ｒｅよりも高い位置にある。従った、ホモグラフィ変換によって基準平面Ｒｅの真上から見た上面視画像を生成すると、基準平面Ｒｅにおける対応点Ｐ３’、Ｐ４’のＸ座標およびＹ座標は、それぞれ、点Ｐ３、Ｐ４のＸ座標およびＹ座標からシフトしてしまう。したがって、前輪１０４Ｆの一部が映っている画像４０に対して、ホモグラフィ変換を行って上面視画像を生成すると、前輪１０４Ｆの像は歪んだ形状で上面視画像内に形成され、正確な位置関係を推定することが困難になる。
　このような上面視画像に基づいて、前輪１０４Ｆと作物列１２または畝１６のエッジラインとの位置関係を知るには、対応点Ｐ３’、Ｐ４’の座標（Ｘ３’，Ｙ３’，０）、（
Ｘ４’，Ｙ４’，０）に基づいて、タイヤトレッドＣＡの中心を推定することが好ましい。
　図４０の例において、前輪１０４Ｆの高さＨｔが既知であれば、画像に映る前輪１０４Ｆ上の点Ｐ３、Ｐ４の前輪１０４Ｆにおける位置は、例えばパターンマッチングなどの手法により、画像内の形状から推定することが可能である。点Ｐ３、Ｐ４の前輪１０４Ｆにおける位置が推定されれば、例えば、対応点Ｐ３’、Ｐ４’の座標（Ｘ３’，Ｙ３’，０）、（Ｘ４’，Ｙ４’，０）を補正してタイヤトレッドＣＡの中心位置を推定することができる。
　こうして、本実施形態では、サーチ領域内に車輪の少なくとも一部を含めることにより、サーチ領域内から検出した列に対する車輪の配置関係を時系列画像によってモニタすることが可能になる。
　（実施形態４）
　次に、本開示の列検出システムを備える農業機械の実施形態を説明する。
　本実施形態における農業機械は、前述した列検出システムを備える。また、この農業機械は、自動操舵運転を実現するための制御を行う制御システムを備える。制御システムは、記憶装置と、制御装置とを備えるコンピュータシステムであり、農業機械の操舵、走行、その他の動作を制御するように構成されている。
　制御装置は、通常の自動操舵動作モードにおいて、測位装置によって農業機械の位置を特定し、前もって生成された目標経路に基づいて、農業機械が目標経路に沿って走行するように農業機械の操舵を制御する。具体的には、作業車両が圃場内を目標経路に沿って走行するように農業機械の操舵輪（例えば前輪）の操舵角を制御する。本実施形態における農業機械は、このような通常の自動操舵モードだけではなく、作物や畝の列が設けられた圃場内で「列倣い走行制御」による自動走行を行うように構成された自動操舵装置を備える。
　測位装置は、例えばＧＮＳＳ受信機を有する。このような測位装置は、ＧＮＳＳ衛星からの信号に基づき、作業車両の位置を特定することができる。しかし、列が圃場にある場合、仮に測位装置が農業機械の位置を高精度に測定できたとしても、列の間は狭く、作物の植えられ方や生育状況によっては、農業機械の車輪などの走行装置が列にはみ出す可能性も高くなる。しかし、本実施形態では、前述した列検出システムを用いることにより、現実に存在する列を検出して、適切な自動操舵を実行することができる。すなわち、本開示の実施形態における農業機械が備える自動操舵装置は、列検出システムが決定した列のエッジラインの位置に基づいて、操舵輪の操舵角を制御するように構成される。
　また、本実施形態における農業機械では、列検出システムの処理装置が、時系列カラー画像に基づいて、列のエッジラインと操舵輪との位置関係をモニタすることが可能である。この位置関係から位置誤差信号を生成すれば、農業機械の自動操舵装置が位置誤差信号を小さくするように操舵角を適切に調整することが可能になる。
　図４１は、本実施形態における農業機械１００の外観の例を示す斜視図である。図４２は、作業機３００が装着された状態の農業機械１００の例を模式的に示す側面図である。本実施形態における農業機械１００は、作業機３００が装着された状態の農業用トラクタ（作業車両）である。農業機械１００は、トラクタに限定されず、また作業機３００が装着されている必要もない。本開示における列検出の技術は、例えば、畝立、中耕、土寄、除草、追肥、防除などの畝間作業に使用され得る小型管理機、および野菜移植機に用いて
優れた効果を発揮することができる。
　本実施形態における農業機械１００は、撮像装置１２０と、測位装置１３０と、障害物センサ１３６とを備える。図４１には１つの障害物センサ１３６が例示されているが、障害物センサ１３６は農業機械１００の複数の箇所に設けられていてもよい。
　図４２に示すように、農業機械１００は、車両本体１１０と、原動機（エンジン）１０２と、変速装置（トランスミッション）１０３とを備える。車両本体１１０には、タイヤ１０４（車輪）と、キャビン１０５とが設けられている。タイヤ１０４は、一対の前輪１０４Ｆと一対の後輪１０４Ｒとを含む。キャビン１０５の内部に運転席１０７、操舵装置１０６、操作端末２００、および操作のためのスイッチ群が設けられている。前輪１０４Ｆおよび後輪１０４Ｒの一方は、タイヤではなくクローラであってもよい。農業機械１００は、４つのタイヤ１０４を駆動輪として備える四輪駆動車であってもよいし、一対の前輪１０４Ｆまたは一対の後輪１０４Ｒを駆動輪として備える二輪駆動車であってもよい。
　本実施形態における測位装置１３０は、ＧＮＳＳ受信機を備える。ＧＮＳＳ受信機は、ＧＮＳＳ衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて農業機械１００の位置を決定する処理回路とを備える。測位装置１３０は、ＧＮＳＳ衛星から送信されるＧＮＳＳ信号を受信し、ＧＮＳＳ信号に基づいて測位を行う。ＧＮＳＳは、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、ＱＺＳＳ（Ｑｕａｓｉ－Ｚｅｎｉｔｈ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ、例えばみちびき）、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、およびＢｅｉＤｏｕなどの衛星測位システムの総称である。本実施形態における測位装置１３０は、キャビン１０５の上部に設けられているが、他の位置に設けられていてもよい。
　測位装置１３０は、さらに、慣性計測装置（ＩＭＵ）からの信号を利用して位置データを補完することができる。ＩＭＵは、農業機械１００の傾きおよび微小な動きを計測することができる。ＩＭＵによって取得されたデータを用いて、ＧＮＳＳ信号に基づく位置データを補完することにより、測位の性能を向上させることができる。
　図４１および図４２に示す例では、車両本体１１０の後部に障害物センサ１３６が設けられている。障害物センサ１３６は、車両本体１１０の後部以外の部位にも配置され得る。例えば、車両本体１１０の側部、前部、およびキャビン１０５のいずれかの箇所に、１つまたは複数の障害物センサ１３６が設けられ得る。障害物センサ１３６は、農業機械１００の周囲に存在する物体を検出する。障害物センサ１３６は、例えばレーザスキャナまたは超音波ソナーを備え得る。障害物センサ１３６は、障害物センサ１３６から所定の距離よりも近くに物体が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ１３６が農業機械１００の車体の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、車体の異なる位置に配置されていてもよい。そのような多くの障害物センサ１３６を備えることにより、農業機械１００の周囲の障害物の監視における死角を減らすことができる。
　原動機１０２は、例えばディーゼルエンジンである。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置１０３は、変速によって農業機械１００の推進力および移動速度を変化させることができる。変速装置１０３は、農業機械１００の前進と後進とを切り換えることもできる。
　操舵装置１０６は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪１０４Ｆは操舵輪であり、その切れ角（「操舵角」とも称する。）を変
化させることにより、農業機械１００の走行方向を変化させることができる。前輪１０４Ｆの操舵角は、ステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪１０４Ｆの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、農業機械１００内に配置された制御装置からの制御により、油圧装置または電動モータの力によって操舵角が自動で調整される。
　車両本体１１０の後部には、連結装置１０８が設けられている。連結装置１０８は、例えば３点支持装置（「３点リンク」または「３点ヒッチ」とも称する。）、ＰＴＯ（Ｐｏｗｅｒ　Ｔａｋｅ　Ｏｆｆ）軸、ユニバーサルジョイント、および通信ケーブルを含む。連結装置１０８によって作業機３００を農業機械１００に着脱することができる。連結装置１０８は、例えば油圧装置によって３点リンクを昇降させ、作業機３００の位置または姿勢を制御することができる。また、ユニバーサルジョイントを介して農業機械１００から作業機３００に動力を送ることができる。農業機械１００は、作業機３００を引きながら、作業機３００に所定の作業を実行させることができる。連結装置は、車両本体１１０の前方に設けられていてもよい。その場合、農業機械１００の前方に作業機を接続することができる。
　図４２に示す作業機３００は、例えば、ロータリカルチである。列に倣って走行するときにトラクタなどの作業車両に牽引または装着される作業機３００は、畝立、中耕、土寄、除草、追肥、防除などの畝間作業に使用され得るものであれば、任意である。
　図４３は、農業機械１００および作業機３００の概略的な構成の例を示すブロック図である。農業機械１００と作業機３００は、連結装置１０８に含まれる通信ケーブルを介して互いに通信することができる。
　図４３の例における農業機械１００は、撮像装置１２０、測位装置１３０、障害物センサ１３６、操作端末２００に加え、駆動装置１４０、ステアリングホイールセンサ１５０、切れ角センサ１５２、制御システム１６０、通信インタフェース（ＩＦ）１９０、操作スイッチ群２１０、およびブザー２２０を備える。測位装置１３０は、ＧＮＳＳ受信機１３１と、慣性計測装置（ＩＭＵ）１２５とを備える。制御システム１６０は、記憶装置１７０と、制御装置１８０とを備える。制御装置１８０は、複数の電子制御ユニット（ＥＣＵ）１８１から１８６を備える。作業機３００は、駆動装置３４０と、制御装置３８０と、通信インタフェース（ＩＦ）３９０とを備える。なお、図４３には、農業機械１００による自動操舵または自動走行の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。
　測位装置１３０は、ＧＮＳＳを利用して農業機械１００の測位を行う。測位装置１３０がＲＴＫ受信機を備える場合、複数のＧＮＳＳ衛星から送信されるＧＮＳＳ信号に加えて、基準局から送信される補正信号が利用される。基準局は、農業機械１００が走行する圃場の周囲（例えば、農業機械１００から１０ｋｍ以内の位置）に設置され得る。基準局は、複数のＧＮＳＳ衛星から受信したＧＮＳＳ信号に基づいて補正信号を生成し、測位装置１３０に送信する。測位装置１３０におけるＧＮＳＳ受信機１３１は、複数のＧＮＳＳ衛星から送信されるＧＮＳＳ信号を受信する。測位装置１３０は、ＧＮＳＳ信号および補正信号に基づき、農業機械１００の位置を計算することにより、測位を行う。ＲＴＫ－ＧＮＳＳを用いることにより、例えば誤差数ｃｍの精度で測位を行うことが可能である。緯度、経度および高度の情報を含む位置情報が、ＲＴＫ－ＧＮＳＳによる高精度の測位によって取得される。なお、測位方法はＲＴＫ－ＧＮＳＳに限らず、必要な精度の位置情報が得られる任意の測位方法（干渉測位法または相対測位法など）を用いることができる。例えば、ＶＲＳ（Ｖｉｒｔｕａｌ　Ｒｅｆｅｒｅｎｃｅ　Ｓｔａｔｉｏｎ）またはＤＧＰＳ（
Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）を利用した測位を行ってもよい。
　ＩＭＵ１３５は、３軸加速度センサおよび３軸ジャイロスコープを備える。ＩＭＵ１３５は、３軸地磁気センサなどの方位センサを備えていてもよい。ＩＭＵ１３５は、モーションセンサとして機能し、農業機械１００の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。測位装置１３０は、ＧＮＳＳ信号および補正信号に加えて、ＩＭＵ１３５から出力された信号に基づいて、農業機械１００の位置および向きをより高い精度で推定することができる。ＩＭＵ１３５から出力された信号は、ＧＮＳＳ信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。ＩＭＵ１３５は、ＧＮＳＳ信号よりも高い頻度で信号を出力する。その高頻度の信号を利用して、農業機械１００の位置および向きをより高い頻度（例えば、１０Ｈｚ以上）で計測することができる。ＩＭＵ１３５に代えて、３軸加速度センサおよび３軸ジャイロスコープを別々に設けてもよい。ＩＭＵ１３５は、測位装置１３０とは別の装置として設けられていてもよい。
　測位装置１３０は、ＧＮＳＳ受信機１３１およびＩＭＵ１３５に加えて、他の種類のセンサを備えていてもよい。農業機械１００が走行する環境によっては、これらのセンサからのデータに基づいて農業機械１００の位置および向きを高い精度で推定することができる。
　このような測位装置１３０を利用することにより、前述した列検出システム１０００、２０００によって検出した作物列および畝の地図を作製することも可能である。
　駆動装置１４０は、例えば前述の原動機１０２、変速装置１０３、デフロック機構を含む差動装置、操舵装置１０６、および連結装置１０８などの、農業機械１００の走行および作業機３００の駆動に必要な各種の装置を含む。原動機１０２は、例えばディーゼル機関などの内燃機関を備える。駆動装置１４０は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。
　ステアリングホイールセンサ１５０は、農業機械１００のステアリングホイールの回転角を計測する。切れ角センサ１５２は、操舵輪である前輪１０４Ｆの切れ角を計測する。ステアリングホイールセンサ１５０および切れ角センサ１５２による計測値は、制御装置１８０による操舵制御に利用される。
　記憶装置１７０は、フラッシュメモリまたは磁気ディスクなどの１つ以上の記憶媒体を含む。記憶装置１７０は、各センサ、および制御装置１８０が生成する各種のデータを記憶する。記憶装置１７０が記憶するデータには、農業機械１００が走行する環境内の地図データ、および自動操舵の目標経路のデータが含まれ得る。記憶装置１７０は、制御装置１８０における各ＥＣＵに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体（例えば半導体メモリまたは光ディスク等）または電気通信回線（例えばインターネット）を介して農業機械１００に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
　制御装置１８０は、複数のＥＣＵを含む。複数のＥＣＵは、画像認識用のＥＣＵ１８１、速度制御用のＥＣＵ１８２、ステアリング制御用のＥＣＵ１８３、自動操舵制御用のＥＣＵ１８４、作業機制御用のＥＣＵ１８５、表示制御用のＥＣＵ１８６、およびブザー制御用のＥＣＵ１８７を含む。画像認識用のＥＣＵ１８１は、列検出システムの処理装置として機能する。ＥＣＵ１８２は、駆動装置１４０に含まれる原動機１０２、変速装置１０
３、およびブレーキを制御することによって農業機械１００の速度を制御する。ＥＣＵ１８３は、ステアリングホイールセンサ１５０の計測値に基づいて、操舵装置１０６に含まれる油圧装置または電動モータを制御することにより、農業機械１００のステアリングを制御する。ＥＣＵ１８４は、測位装置１３０、ステアリングホイールセンサ１５０、および切れ角センサ１５２から出力される信号に基づいて、自動操舵運転を実現するための演算および制御を行う。自動操舵運転中、ＥＣＵ１８４は、ＥＣＵ１８３に操舵角の変更の指令を送る。ＥＣＵ１８３は、当該指令に応答して操舵装置１０６を制御することによって操舵角を変化させる。ＥＣＵ１８５は、作業機３００に所望の動作を実行させるために、連結装置１０８の動作を制御する。ＥＣＵ１８５はまた、作業機３００の動作を制御する信号を生成し、その信号を通信ＩＦ１９０から作業機３００に送信する。ＥＣＵ１８６は、操作端末２００の表示を制御する。ＥＣＵ１８６は、例えば、操作端末２００における表示装置に、圃場のマップ、検出された作物列また畝、マップ中の農業機械１００の位置および目標経路、ポップアップ通知、設定画面などの様々な表示を実現させる。ＥＣＵ１８７は、ブザー２２０による警告音の出力を制御する。
　これらのＥＣＵの働きにより、制御装置１８０は、手動操舵または自動操舵による運転を実現する。通常の自動操舵運転時において、制御装置１８０は、測位装置１３０によって計測または推定された農業機械１００の位置と、記憶装置１７０に記憶された目標経路とに基づいて、駆動装置１４０を制御する。これにより、制御装置１８０は、農業機械１００を目標経路に沿って走行させる。一方、列に沿って走行する列倣い走行制御モードでは、画像認識用のＥＣＵ１８１が、検出した作物列または畝から作物列や畝のエッジラインを決定し、このエッジラインに基づく目標経路を生成する。制御装置１８０は、この目標経路に従った動作を実行する。
　制御装置１８０に含まれる複数のＥＣＵは、例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などのビークルバス規格に従って、相互に通信することができる。図４３において、ＥＣＵ１８１から１８７のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のＥＣＵによって実現されていてもよい。また、ＥＣＵ１８１から１８７の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置１８０は、ＥＣＵ１８１から１８７以外のＥＣＵを備えていてもよく、機能に応じて任意の個数のＥＣＵが設けられ得る。各ＥＣＵは、１つ以上のプロセッサを含む制御回路を備える。
　通信ＩＦ１９０は、作業機３００の通信ＩＦ３９０と通信を行う回路である。通信ＩＦ１９０は、例えばＩＳＯＢＵＳ－ＴＩＭ等のＩＳＯＢＵＳ規格に準拠した信号の送受信を、作業機３００の通信ＩＦ３９０との間で実行する。これにより、作業機３００に所望の動作を実行させたり、作業機３００から情報を取得したりすることができる。通信ＩＦ１９０は、有線または無線のネットワークを介して外部のコンピュータと通信してもよい。外部のコンピュータは、例えば、圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援する営農支援システムにおけるサーバコンピュータであってもよい。
　操作端末２００は、農業機械１００の走行および作業機３００の動作に関する操作をユーザが実行するための端末であり、バーチャルターミナル（ＶＴ）とも称される。操作端末２００は、タッチスクリーンなどの表示装置、および／または１つ以上のボタンを備え得る。ユーザは、操作端末２００を操作することにより、例えば自動操舵モードのオン／オフの切り替え、クルーズコントロールのオン／オフの切り替え、農業機械１００の初期位置の設定、目標経路の設定、地図の記録または編集、２ＷＤ／４ＷＤの切り替え、デフロックのオン／オフの切り替え、および作業機３００のオン／オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群２１
０を操作することによっても実現できる。操作端末２００への表示は、ＥＣＵ１８６によって制御される。
　ブザー２２０は、ユーザに異常を報知するための警告音を発する音声出力装置である。ブザー２２０は、例えば、自動操舵運転時に、農業機械１００が目標経路から所定距離以上逸脱した場合に警告音を発する。ブザー２２０の代わりに、操作端末２００のスピーカによって同様の機能が実現されてもよい。ブザー２２０は、ＥＣＵ１８６によって制御される。
　作業機３００における駆動装置３４０は、作業機３００が所定の作業を実行するために必要な動作を行う。駆動装置３４０は、例えば油圧装置、電気モータ、またはポンプなどの、作業機３００の用途に応じた装置を含む。制御装置３８０は、駆動装置３４０の動作を制御する。制御装置３８０は、通信ＩＦ３９０を介して農業機械１００から送信された信号に応答して、駆動装置３４０に各種の動作を実行させる。また、作業機３００の状態に応じた信号を通信ＩＦ３９０から農業機械１００に送信することもできる。
　以上の実施形態において、農業機械１００は、無人で自動運転を行う作業車両であってもよい。その場合には、キャビン、運転席、ステアリングホイール、操作端末などの、有人運転にのみ必要な構成要素は、農業機械１００に設けられていなくてもよい。無人の作業車両は、自律走行、またはユーザによる遠隔操作によって、前述の各実施形態における動作と同様の動作を実行してもよい。
　実施形態における各種の機能を提供するシステムを、それらの機能を有しない農業機械に後から取り付けることもできる。そのようなシステムは、農業機械とは独立して製造および販売され得る。そのようなシステムで使用されるコンピュータプログラムも、農業機械とは独立して製造および販売され得る。コンピュータプログラムは、例えばコンピュータが読み取り可能な非一時的な記憶媒体に格納されて提供され得る。コンピュータプログラムは、電気通信回線（例えばインターネット）を介したダウンロードによっても提供され得る。
　本開示の技術は、例えば、乗用管理機、野菜移植機、トラクタなどの農業機械に適用することができる。
　１０・・・地面、１２・・・作物列、１４・・・中間領域（作業通路）、１６・・・畝、４０・・・画像、４２・・・強調画像、４４・・・上面視画像、１００・・・農業機械、１１０・・・車両本体、１２０・・・撮像装置、１２２・・・処理装置、１２４・・・自動操舵装置 

Claims (13)

  1. 　１または複数の車輪を有する農業機械に取り付けられ、前記農業機械が走行する地面を撮影して前記地面の少なくとも一部を含む時系列画像を取得する撮像装置と、
    　前記時系列画像の画像処理を行う処理装置と、
    　を備え、
    　前記処理装置は、
    　前記時系列画像から、作物列および畝の少なくとも一方を検出するためのサーチ領域を選択し、前記サーチ領域は前記１または複数の車輪の少なくとも一部を含む大きさおよび形状を有している、
    　列検出システム。
  2. 　前記処理装置は、前記時系列画像から前記１または複数の車輪の少なくとも一部を検出し、
    　検出された前記１または複数の車輪の少なくとも一部を含む領域を、前記サーチ領域として選択する、請求項１に記載の列検出システム。
  3. 　前記サーチ領域は、前記時系列画像内にある前記作物列および畝の少なくとも一方のうち、前記１または複数の車輪に対して左側に位置する作物列または畝から、右側に位置する作物列または畝までを含む形状を有している、請求項１または２に記載の列検出システム。
  4. 　前記処理装置は、前記サーチ領域に含まれる前記１または複数の車輪の前記少なくとも一部の画像に基づいて、検出された前記作物列および畝の少なくとも一方と前記１または複数の車輪との位置関係を推定する、請求項１から３のいずれか１項に記載の列検出システム。
  5. 　前記処理装置は、前記位置関係に基づいて、検出された前記作物列および畝の少なくとも一方と前記農業機械との位置関係を推定する、請求項４に記載の列検出システム。
  6. 　前記処理装置は、前記サーチ領域に含まれる前記１または複数の車輪の前記少なくとも一部を検出し、検出した前記１または複数の車輪の前記少なくとも一部の画像に基づいて、前記農業機械に対する前記１または複数の車輪の位置を推定する、請求項１から５のいずれか１項に記載の列検出システム。
  7. 　前記処理装置は、前記撮像装置から時系列カラー画像を取得し、
    　前記時系列カラー画像の少なくとも前記サーチ領域から、作物列の色を強調した、前記地面の少なくとも前記サーチ領域の上面視画像を生成し、
    　前記上面視画像を、前記色の指標値が閾値以上の第１画素と、前記指標値が前記閾値未満の第２画素とに分類し、
    　前記第１画素の前記指標値に基づいて、前記作物列のエッジラインの位置を決定する、請求項１から６のいずれか１項に記載の列検出システム。
  8. 　前記処理装置は、前記作物列または畝の位置に基づいて、目標経路を生成して出力する、請求項１から７のいずれか１項に記載の列検出システム。
  9. 　前記処理装置は、
    　前記時系列画像の異なる時刻に取得された複数の画像から、特徴点マッチングにより、複数の特徴点のそれぞれの、画像平面内における第１移動量を求め、
    　前記複数の特徴点のそれぞれを、前記画像平面から、前記地面に対応する基準平面に透
    視投影し、前記第１移動量に基づいて前記基準平面内における各投影点の第２移動量を求め、
    　前記第２移動量に基づいて、前記複数の特徴点の前記基準平面からの高さを推定して前記地面の畝を検出する、
    　請求項１から８のいずれか１項に記載の列検出システム。
  10. 　前記処理装置は、
    　前記透視投影の中心点の前記基準平面からの高さをＨｃ、
    　前記複数の特徴点の前記基準平面からの高さをｄＨ、
    　ｄＨがゼロである特徴点の前記第２移動量をＬ、
    　ｄＨがゼロよりも大きな特徴点の前記第２移動量をＬ＋ｄＬ、
    とするとき、Ｈｃ・（１．０－Ｌ／（Ｌ＋ｄＬ））を各特徴点の前記高さとして決定する、請求項９に記載の列検出システム。　
  11. 　請求項１から１０のいずれか１項に記載される列検出システムを備える農業機械であって、
    　操舵輪を含む走行装置と、
    　前記列検出システムが決定した前記作物列または畝の位置に基づいて、前記操舵輪の操舵角を制御する自動操舵装置と、
    を備える、農業機械。
  12. 　前記列検出システムの前記処理装置は、前記時系列画像に基づいて、前記作物列または畝と前記操舵輪との位置関係をモニタし、位置誤差信号を前記自動操舵装置に与える、請求項１１に記載の農業機械。
  13. 　コンピュータに実装される列検出方法であって、
    　１または複数の車輪を有する農業機械に取り付けられた撮像装置から、前記農業機械が走行する地面を撮影した、前記地面の少なくとも一部を含む時系列画像を取得すること、
    　前記時系列画像から、作物列および畝の少なくとも一方を検出するためのサーチ領域を、前記サーチ領域が前記１または複数の車輪の少なくとも一部を含む大きさおよび形状を有するように、選択すること、
    をコンピュータに実行させる、列検出方法。
PCT/JP2022/004549 2021-06-29 2022-02-04 列検出システム、列検出システムを備える農業機械、および、列検出方法 WO2023276228A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023531368A JPWO2023276228A1 (ja) 2021-06-29 2022-02-04
KR1020237042413A KR20240005918A (ko) 2021-06-29 2022-02-04 열 검출 시스템, 열 검출 시스템을 구비하는 농업 기계, 및 열 검출 방법
EP22832396.0A EP4335267A1 (en) 2021-06-29 2022-02-04 Row detection system, farm machine provided with row detection system, and row detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-107921 2021-06-29
JP2021107921 2021-06-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/392,277 Continuation US20240130263A1 (en) 2021-06-29 2023-12-21 Row detection system, agricultural machine having a row detection system, and method of row detection

Publications (1)

Publication Number Publication Date
WO2023276228A1 true WO2023276228A1 (ja) 2023-01-05

Family

ID=84691098

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004549 WO2023276228A1 (ja) 2021-06-29 2022-02-04 列検出システム、列検出システムを備える農業機械、および、列検出方法

Country Status (4)

Country Link
EP (1) EP4335267A1 (ja)
JP (1) JPWO2023276228A1 (ja)
KR (1) KR20240005918A (ja)
WO (1) WO2023276228A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04325003A (ja) * 1991-04-25 1992-11-13 Kubota Corp 作物列検出装置
JPH0614611A (ja) * 1992-06-30 1994-01-25 Kubota Corp 作物列検出装置
JP2016208871A (ja) 2015-04-30 2016-12-15 国立大学法人 鹿児島大学 作業機及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04325003A (ja) * 1991-04-25 1992-11-13 Kubota Corp 作物列検出装置
JPH0614611A (ja) * 1992-06-30 1994-01-25 Kubota Corp 作物列検出装置
JP2016208871A (ja) 2015-04-30 2016-12-15 国立大学法人 鹿児島大学 作業機及びその制御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
INOUE, HIDEO ET AL.: "Research on construction of vehicle evaluation index for driver assist functions", 2020 RESEARCH REPORT ON ADVANCED VEHICLE RESEARCH, KANAGAWA INSTITUTE OF TECHNOLOGY, JP, JP, pages 1 - 132, XP009543214, Retrieved from the Internet <URL:https://cp.kanagawa-it.ac.jp/wp-content/uploads/laboratory_c11_2020_03.pdf> [retrieved on 20220322] *
TAKAHIRO KANUMA, TSUGUO OKAMOTO, TORU TORII: "Image Analysis of Crop Row and Position Identification", JOURNAL OF THE JAPANESE SOCIETY OF AGRICULTURAL MACHINERY, vol. 57, no. 2, pages 57 - 63, XP009542455, Retrieved from the Internet <URL:https://www.jstage.jst.go.jp/article/jsaml937/59/5/59_5_37/_pdf> [retrieved on 20220322] *
TORII TORU, KITANI OSAMU, OKAMOTO TSUGUO, KUSANO NOBUYUKI, INOU NORIHIDE: "Image Analysis of Crop Row Used for Agricultural Mobile Robot (Part 2)* -Identification of Boundary Lines and Camera Position", JOURNAL OF THE JAPANESE SOCIETY OF AGRICULTURAL MACHINERY, vol. 57, no. 6, 1 January 1995 (1995-01-01), pages 53 - 59, XP093022340 *

Also Published As

Publication number Publication date
KR20240005918A (ko) 2024-01-12
JPWO2023276228A1 (ja) 2023-01-05
EP4335267A1 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
CN110243372B (zh) 基于机器视觉的智能农机导航系统及方法
US7684916B2 (en) Method and system for vehicular guidance using a crop image
US7792622B2 (en) Method and system for vehicular guidance using a crop image
US7570783B2 (en) Method and system for vehicular guidance using a crop image
US8712144B2 (en) System and method for detecting crop rows in an agricultural field
US7580549B2 (en) Method and system for vehicular guidance using a crop image
US8855405B2 (en) System and method for detecting and analyzing features in an agricultural field for vehicle guidance
EP1738630B1 (en) Method and system for vehicular guidance with respect to harvested crop
US8737720B2 (en) System and method for detecting and analyzing features in an agricultural field
JP2006101816A (ja) 操向制御方法及び装置
CN114092822A (zh) 图像处理方法、移动控制方法以及移动控制系统
CA3233542A1 (en) Vehicle row follow system
WO2023276228A1 (ja) 列検出システム、列検出システムを備える農業機械、および、列検出方法
WO2023276227A1 (ja) 列検出システム、列検出システムを備える農業機械、および、列検出方法
WO2023120182A1 (ja) 農業機械
WO2023276226A1 (ja) 作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法
WO2023127437A1 (ja) 農業機械
WO2024095993A1 (ja) 列検出システム、列検出システムを備える農業機械、および列検出方法
WO2023120183A1 (ja) 農業機械
US11981336B2 (en) Vehicle row follow system
US20240130263A1 (en) Row detection system, agricultural machine having a row detection system, and method of row detection
WO2024095802A1 (ja) 走行制御システム、作業車両および走行制御方法
JP7318768B2 (ja) 作物栽培支援装置
US20210185882A1 (en) Use Of Aerial Imagery For Vehicle Path Guidance And Associated Devices, Systems, And Methods
US20230403964A1 (en) Method for Estimating a Course of Plant Rows

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22832396

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531368

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20237042413

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237042413

Country of ref document: KR

Ref document number: 2022832396

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022832396

Country of ref document: EP

Effective date: 20231207

WWE Wipo information: entry into national phase

Ref document number: 2301008321

Country of ref document: TH

NENP Non-entry into the national phase

Ref country code: DE