JPH01211410A - Crop row detection apparatus of farm working machine - Google Patents

Crop row detection apparatus of farm working machine

Info

Publication number
JPH01211410A
JPH01211410A JP63035511A JP3551188A JPH01211410A JP H01211410 A JPH01211410 A JP H01211410A JP 63035511 A JP63035511 A JP 63035511A JP 3551188 A JP3551188 A JP 3551188A JP H01211410 A JPH01211410 A JP H01211410A
Authority
JP
Japan
Prior art keywords
virtual line
crop
virtual
curve
steering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP63035511A
Other languages
Japanese (ja)
Inventor
Hideki Kamiyama
神山 英機
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Co Ltd
Original Assignee
Yanmar Agricultural Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Agricultural Equipment Co Ltd filed Critical Yanmar Agricultural Equipment Co Ltd
Priority to JP63035511A priority Critical patent/JPH01211410A/en
Publication of JPH01211410A publication Critical patent/JPH01211410A/en
Pending legal-status Critical Current

Links

Landscapes

  • Guiding Agricultural Machines (AREA)
  • Transplanting Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

PURPOSE:To prevent stamping of transplanted seedlings with a working machine, by switching a virtual line calculation means to the mode to calculate a quadratic or cubic curve when the deviation of the machine from a row exceeds a prescribed permissible limit. CONSTITUTION:The operation for detecting a crop with an image pickup means 40 is started in the step S3 and the image data is inputted in the step S4. In the step S5, the data are digitized to discriminate the transplanted area from the other farm area. The digitized coordinates of the positions of the transplanted plant are determined in the step S6 and a virtual straight line is calculated in the step S7 from the data of the center or gravitational center of the target area A. When the deviation i between the machine and the virtual line is larger than a prescribed level, the virtual line is judged to be a curve in the step S8. The virtual line calculation means is switched to a curve function generation circuit in the step S11.

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、圃場に既に植付けられて列状に並ぶ、いわゆ
る作物列に対して略並行状に田植機等の農作業機を走行
できるようにする自動操舵制御の為の作物列検出装置の
構造に関するものである。
[Detailed Description of the Invention] [Industrial Application Field] The present invention is directed to a system that enables agricultural machinery such as a rice transplanter to run substantially parallel to so-called rows of crops that have already been planted in a field and lined up in rows. This invention relates to the structure of a crop row detection device for automatic steering control.

〔従来の技術〕[Conventional technology]

従来から田植機により圃場に苗を植付ける場合、田植機
にその進行方向左右に適宜間隔で植付機構を設け、田植
機の進行につれて上下回動する植付機構にて苗載台の苗
マットを適宜株数ごとに分割しながら圃場面に植付ける
ので、圃場面には、田植機の進行方向に沿って適宜の苗
植付間隔で、植付は苗箇所が並ぶと同時に、進行方向に
対して左右方向に適宜間隔で複数列にて植付けられるこ
とは周知である: そして、圃場に既に植付けられた植付苗列(以下作物列
という)と略並行状に田植機を走行できるようにする自
動操舵装置の先行技術として、特開昭62−61509
号公報では、前進させる田植機に搭載したカラービデオ
カメラにて、前記隣接した部分の作物列のうちの適宜範
囲を撮像し、この撮像画面情報を2値化処理して各植付
は作物箇所に対応する領域を抽出して後、ハフ(Hou
gh )変換等の処理により前記複数の領域からなる列
から直線を近似計算し、この計算上の仮想直線と撮像画
面の縦横中心線等の任意の基準線及び基準点に対する横
ずれ及び傾斜のずれの隔たりを一定の許容範囲内に納ま
るように機体の操舵制御を実行することを提案している
Conventionally, when planting seedlings in a field using a rice transplanter, the rice transplanter is equipped with a planting mechanism at appropriate intervals on the left and right sides of the rice transplanter, and the planting mechanism that moves up and down as the rice transplanter advances moves the seedling mat on the seedling stand. Since the seedlings are divided into appropriate numbers of plants and planted in the field, the seedlings are planted at appropriate intervals along the direction of movement of the rice transplanter. It is well known that rice is planted in multiple rows at appropriate intervals in the left and right direction: Then, the rice transplanter is made to run approximately parallel to the rows of planted seedlings (hereinafter referred to as crop rows) that have already been planted in the field. As a prior art of automatic steering system, Japanese Patent Application Laid-Open No. 62-61509
In the publication, a color video camera mounted on a rice transplanter that moves forward images an appropriate range of the crop rows in the adjacent parts, and this imaged screen information is binarized to determine the location of each crop. After extracting the region corresponding to
gh) Approximately calculate a straight line from the row made up of the plurality of regions by processing such as conversion, and calculate the lateral and inclination deviations between this calculated virtual straight line and arbitrary reference lines and reference points such as the vertical and horizontal center lines of the imaging screen. It is proposed to perform aircraft steering control to keep the gap within a certain tolerance range.

〔発明が解決しようとする課題〕[Problem to be solved by the invention]

ところで、圃場は平面視矩形状のものや、部分的に畦が
湾曲して、いる変形圃場等があり、作物列も圃場の形状
に応じて、直線的なもの、曲線的なもの、直線と曲線と
の組合せ等種々ある。
By the way, some fields are rectangular in plan view, others are deformed fields where the ridges are partially curved, and crop rows can be linear, curved, or straight depending on the shape of the field. There are various combinations with curves.

しかし、前記先行技術においては、作物列を直線に仮想
し、この仮想直線に沿ってその側方部分で田植機を略並
行状に走行させるように自動操舵するものであるから、
実際の作物列が直線であるときは、ともかく、実際の作
物列が曲線的であるのにこれを直線に仮想して田植機を
直線的に走行させると、既に植付は済みの作物列との所
定の苗植え条間隔(走行機体の進行方向と直角な左右に
植付けられた苗の間隔)に広過ぎる個所や反対に狭過ぎ
る個所が発生し、酷い場合には走行する車輪が既に植付
は済みの苗を踏み荒らす事態が生じる等の問題がある。
However, in the prior art, the crop row is imagined to be a straight line, and the rice transplanter is automatically steered so as to run substantially parallel to the side portions of the row along this virtual straight line.
When the actual crop row is a straight line, if you imagine the actual crop row to be a straight line and run the rice transplanter in a straight line even though the actual crop row is curved, it will become a row of crops that have already been planted. The specified seedling planting row spacing (the spacing between seedlings planted on the left and right sides perpendicular to the traveling direction of the traveling machine) may be too wide or too narrow, and in severe cases, the running wheels may already be planted. There are problems such as trampling over mature seedlings.

また、苗植え作業後の適宜時期に施肥または薬剤散布す
る管理機は、前記既に植付けられた作物列に沿って進行
させつつ作業を実行するので、このような農作業機に自
動操舵装置を搭載する場合にも前記と同様の問題が生じ
るのであった。
Furthermore, since a management machine that applies fertilizer or sprays chemicals at an appropriate time after planting seedlings performs the work while moving along the rows of crops that have already been planted, such a farm machine is equipped with an automatic steering device. In this case, the same problem as above occurs.

本発明は、この問題を解決することを目的とするもので
ある。
The present invention aims to solve this problem.

〔課題を解決するための手段〕[Means to solve the problem]

そこで本発明は、圃場内に既に植付けられた作物列に沿
ってその側方で略並行状に走行するように田植機等の農
作業機を自動操舵制御するために用いる作物列検出装置
を、前記作物列における植付は作物個所を撮像する撮像
手段と、撮像手段の画像情報から前記作物列に沿う仮想
線を計算する仮想線計算手段とにより構成し、該仮想線
計算手段を、当該仮想線計算手段により一旦直線の仮想
線を計算し、作物列との偏差が所定以上であれば、二次
曲線等の曲線の仮想線を求める計算に切換えるように構
成したものである。
Therefore, the present invention provides a crop row detection device used for automatic steering control of an agricultural machine such as a rice transplanter so that the crop row detecting device runs substantially parallel to the rows of crops already planted in a field. Planting in a crop row consists of an imaging means for taking an image of a crop location, and a virtual line calculation means for calculating a virtual line along the crop row from the image information of the imaging means. The calculation means is configured to once calculate a straight virtual line, and if the deviation from the crop row is greater than a predetermined value, the calculation is switched to a calculation to obtain a curved virtual line such as a quadratic curve.

〔発明の作用・効果〕[Action/effect of the invention]

この構成によれば、撮像手段により既に植付けられた作
物列を撮像することにより、圃場面における植付は作物
個所の位置を特定することができる。
According to this configuration, by imaging the rows of crops that have already been planted by the imaging means, it is possible to identify the position of the crop in the field scene.

この特定された位置のデータに基づいて、作物列の並び
状態を所定の直線又は曲線と仮想して、その仮想線に沿
ってその側方で並行状に農作業機走行させる′のである
が、仮想線計算手段にて仮想線を計算するに際して、−
旦仮想線を直線と仮定して計算してみる。
Based on this specified position data, the arrangement of the crop rows is assumed to be a predetermined straight line or curved line, and the agricultural machine is run parallel to the side along the imaginary line. When calculating a virtual line using a line calculation means, −
First, let's calculate by assuming that the virtual line is a straight line.

このようにして得られた仮想直線を前記位置のデータと
比較し、その偏差が所定の許容範囲内にあるときには、
その仮想直線に基づき自動操舵を実行し、前記偏差が所
定の許容範囲外であるときには、前記仮想線計算手段を
切換えて仮想線を二次曲線や三次曲線の仮想曲線を求め
て、この仮想曲線に基づき自動操舵を実行するのである
The virtual straight line obtained in this way is compared with the data of the position, and if the deviation is within a predetermined tolerance range,
Automatic steering is executed based on the virtual straight line, and when the deviation is outside a predetermined allowable range, the virtual line calculation means is switched to calculate a quadratic or cubic virtual line, and the virtual line is converted into a quadratic curve or a cubic curve. Automatic steering is performed based on this.

これによって、直線的な作物列の側方にて適宜距離隔て
た状態にて直進する自動操舵も確実、且つ、迅速に実行
できるのである。また、湾曲した畦に沿って作物列が存
在する場合のように、作物列が湾曲している場合に仮想
線をむりやり直線に仮定し、その仮想直線に沿って自動
操舵するとき、既に植付けられた作物個所を走行機体の
車輪等で踏み付ける等の不都合を解消することができる
のである。
This makes it possible to reliably and quickly perform automatic steering to move straight ahead at an appropriate distance to the side of a straight row of crops. In addition, when the crop row is curved, such as when there is a row of crops along a curved ridge, when the virtual line is forced to be a straight line and the automatic steering is performed along the virtual straight line, it is possible to This eliminates inconveniences such as trampling on crop areas with the wheels of the traveling machine.

〔実施例〕〔Example〕

以下本田植機に適用した実施例について説明すると、図
において1はフレーム2の前部左右両側の前車輪3.3
と後部左右両側の後車輪4.4にて支持された走行機体
で、この走行機体1の後部には、苗載台5と複数の植付
機構6とから成る多条植え式の苗植装置7が、リンク機
構8を介して上下昇降可能に装着されている。
An example applied to a Honda rice transplanter will be described below. In the figure, 1 indicates front wheels 3.
A traveling machine body supported by rear wheels 4.4 on both left and right rear sides, and a multi-row seedling planting device consisting of a seedling platform 5 and a plurality of planting mechanisms 6 is installed at the rear of the traveling machine body 1. 7 is attached via a link mechanism 8 so as to be able to move up and down.

走行機体1のフレーム2の上面に搭載したエンジン9の
動力は、クラッチlO及びミッションケース11を介し
て前後両車軸3.4に伝達する−方、このミッションケ
ース11から突出するPTO軸12を介して前記苗植装
置7に動力伝達する。
The power of the engine 9 mounted on the upper surface of the frame 2 of the traveling body 1 is transmitted to both the front and rear axles 3.4 via the clutch lO and the transmission case 11, and via the PTO shaft 12 protruding from the transmission case 11. power is transmitted to the seedling planting device 7.

なお、符号13はクラッチ10の0N−OFF用アクチ
エータ、14は走行変速用アクチエータ、15はPTO
軸変軸周速用アクチエータる。
In addition, reference numeral 13 is an ON-OFF actuator for the clutch 10, 14 is an actuator for traveling speed change, and 15 is a PTO.
Actuator for variable shaft peripheral speed.

前記走行機体1の上面には、操縦座席16の前方にステ
アリングギヤボックス17を設け、該ステアリングギヤ
ボックス17から立設したステアリングコラム1Bの上
端に、当該ステアリングコラム18内に挿通したステア
リング軸19に対する操縦ハンドル20を取付けている
A steering gear box 17 is provided on the upper surface of the traveling aircraft 1 in front of the pilot seat 16, and a steering shaft 19 inserted into the steering column 18 is connected to the upper end of the steering column 1B that stands up from the steering gear box 17. The control handle 20 is attached.

符号21は左右両端にナックル22.22を介して前車
輪3.3を装着し、内部にミッションケース11からの
動力伝達機構を収納した左右長手の伝動ケースで、該伝
動ケース21を、それに取付く平面視コ字型のブラケッ
ト21aと、前記フレーム2の下面左右中央部の支持部
材21bに回動自在に支持された揺動軸21cとを介し
て連結して左右上下揺動できるように構成されている。
Reference numeral 21 denotes a left and right long transmission case in which front wheels 3.3 are attached to both left and right ends via knuckles 22.22, and a power transmission mechanism from the transmission case 11 is housed inside, and the transmission case 21 is attached to it. The bracket 21a, which is U-shaped in plan view, is connected to the swing shaft 21c, which is rotatably supported by a support member 21b at the center of the lower surface of the frame 2, so that it can swing horizontally and vertically. has been done.

操舵装置は前記伝動ケース21の片側から立設する回動
支点軸23に水平回動自在に装着された平面視り字型の
ステアリングアーム24、該ステアリングアーム24に
連結する左右一対のタイロッド25.25、油圧シリン
ダ2G、操舵IIJ御弁27ならびに該操舵制御弁27
を操作するステアリングギアボックス17の前後揺動自
在なピットマンアーム28から成る。
The steering device includes a steering arm 24 which is horizontally rotatably mounted on a rotational fulcrum shaft 23 erected from one side of the transmission case 21, and a pair of left and right tie rods 25 connected to the steering arm 24. 25, hydraulic cylinder 2G, steering IIJ control valve 27, and the steering control valve 27
It consists of a pitman arm 28 that can freely swing back and forth of a steering gear box 17 that operates the steering gear box 17.

前記ステアリングアーム24におけるフレーム2の前後
方向に延びるアーム部24aには、前記左右一対のタイ
ロッド25.25の一端を各々球関節を介して連結し、
該両タイロッド25.25を伝動ケース21に略沿わせ
て走行機体1の進行左右に延ばし、その各他端を前記各
ナックル22゜22から前方に延びるナックルアーム2
9.29に揺動自在に連結する。
One ends of the pair of left and right tie rods 25, 25 are connected to the arm portion 24a of the steering arm 24 extending in the front-rear direction of the frame 2 via a ball joint, respectively.
Both tie rods 25, 25 are extended along the transmission case 21 to the left and right of the movement of the traveling body 1, and the other ends of the tie rods 25, 25 are extended forward from the knuckles 22, 22, respectively.
9. Connect to 29 so that it can swing freely.

前記ステアリングアーム24からフレーム2の側面に向
かって内向きに延びるアーム部の支軸30には、制御弁
27を球関節を介して後向きに連結する一方、該制御弁
27の後端のスプールと前記ピットマンアーム28とを
連杆31を介して連結する。
A control valve 27 is connected rearward via a ball joint to a support shaft 30 of an arm extending inwardly from the steering arm 24 toward the side surface of the frame 2, and a spool at the rear end of the control valve 27 It is connected to the pitman arm 28 via a connecting rod 31.

また、フレーム2の外側面に略平行状に沿って配設する
油圧シリンダ26の後端を前記支軸30に球関節を介し
て連結する一方、ピストンロフト26aの前端を球関節
を介してフレーム2外側面から突出するブラケット横軸
32に連結する。
Further, the rear end of a hydraulic cylinder 26 disposed substantially parallel to the outer surface of the frame 2 is connected to the support shaft 30 via a ball joint, while the front end of the piston loft 26a is connected to the frame via a ball joint. 2 is connected to a bracket horizontal shaft 32 protruding from the outer surface.

前記制御弁27と油圧シリンダ26とを各々油圧ホース
にて繋ぎ、エンジン5により駆動される油圧ポンプ33
から電磁ソレノイド式制御弁27に油圧を送る。
A hydraulic pump 33 is connected to the control valve 27 and the hydraulic cylinder 26 through hydraulic hoses, and is driven by the engine 5.
The hydraulic pressure is sent from the solenoid control valve 27 to the electromagnetic solenoid control valve 27.

そして、前記操縦ハンドル10の回動角度に対応して揺
動するピットマンアーム28により、制御弁27のスプ
ールを進退動させて油圧シリンダ26におけるピストン
ロッド26aを出没動させ、ステアリングアーム24の
回動に応じて、左右両前車輪3,3の向きを変える。
Then, the pitman arm 28, which swings in accordance with the rotation angle of the steering handle 10, moves the spool of the control valve 27 forward and backward, causing the piston rod 26a in the hydraulic cylinder 26 to move in and out, thereby rotating the steering arm 24. The direction of the left and right front wheels 3, 3 is changed accordingly.

この油圧シリンダ26は、後述の作物列検出装W137
からの信号に応じて出力信号を出す自動操舵・走行用の
中央制御装置35にて作動する電磁ソレノイド式の操舵
制御弁34によっても駆動され、その際前輪3の舵取り
角度は、回動支点軸23に取付くポテンショメータ36
にてステアリングアーム24の回動角度を検出すること
により実行される。
This hydraulic cylinder 26 is connected to a crop row detection device W137, which will be described later.
It is also driven by an electromagnetic solenoid type steering control valve 34 operated by a central control device 35 for automatic steering and driving that outputs an output signal in response to a signal from Potentiometer 36 attached to 23
This is executed by detecting the rotation angle of the steering arm 24 at.

なお、前記クラッチ10の0N−OFF用アクチエータ
13、走行変速用アクチエータ14、PTo軸変軸周速
用アクチエータ15央制御装置35にて作動する。
Note that the ON-OFF actuator 13 of the clutch 10, the traveling speed change actuator 14, the PTo shaft circumferential speed change actuator 15 are operated by the central control device 35.

作物列検出装置37は、対象を撮像する撮像手段40と
、撮像された画像を処理して必要な情報(データ)を中
央制御装置35とやりとりするための画像処理装置41
とからなる。
The crop row detection device 37 includes an imaging means 40 for imaging an object, and an image processing device 41 for processing the captured image and exchanging necessary information (data) with the central control device 35.
It consists of.

撮像手段40は、対象を検出するに際して、いわゆるビ
デオカメラのごとく撮像画面がx−y平面のように縦横
の拡がりを持つ二次元的な平面を有するいわるエリアセ
ンサーである。
The imaging means 40 is a so-called area sensor which has an imaging screen having a two-dimensional plane extending vertically and horizontally like an xy plane, like a so-called video camera, when detecting an object.

撮像手段40では、検出すべき対象の光学像を光電セン
サーの光電導面にて画素の時系列的に分解するとき、撮
像画面の横軸(X軸)沿って走査する走査線の繰り返し
を縦軸(Y軸)に沿って順次ずらせて実行することによ
り、−枚の画面を形成するのであり、この二次元的な撮
像手段40によれば、−枚の画面に複数の植付は作物箇
所がその幾何学的関係と共に同時に検出でき、画像情報
として得ることができる。
In the imaging means 40, when the optical image of the object to be detected is resolved in time series of pixels on the photoconductive surface of the photoelectric sensor, the repetition of the scanning line scanned along the horizontal axis (X-axis) of the imaging screen is repeated vertically. By sequentially shifting the images along the axis (Y-axis), − images are formed, and according to this two-dimensional imaging means 40, multiple plantings on − images are performed at different crop locations. can be simultaneously detected along with their geometric relationships and obtained as image information.

この撮像手段40の実施例として、例えば、二次元MO
3撮像素子や二次元CCD撮像素子を内臓したものでは
、レンズを通して結ばれた像は、その結像面に二次元的
アレイ状に配列された各撮像素子(光電素子)にて感知
されて撮像画面42の情報を電気信号として出力できる
ものである。
As an example of this imaging means 40, for example, a two-dimensional MO
In devices with built-in 3-image sensors or two-dimensional CCD image sensors, the image formed through the lens is sensed by each image sensor (photoelectric device) arranged in a two-dimensional array on the image plane, and the image is captured. Information on the screen 42 can be output as an electrical signal.

1枚の撮像画面42を構成するため、例えば前記二次元
撮像素子から成る撮像手段40では、256X256の
微小の画素にて標本化する。
In order to configure one image capturing screen 42, the image capturing means 40, which is composed of the two-dimensional image sensor, samples the image using minute pixels of 256×256.

画像処理装置41及び中央制御装置35では、第7図に
示す概略フローチャートに従って処理を実行し、最終的
には仮想直線または仮想曲線に基づきそれに沿うように
中央制御装置35から信号を出力して田植機の自動操舵
制御を行うのである。
The image processing device 41 and the central control device 35 execute processing according to the schematic flowchart shown in FIG. 7, and finally the central control device 35 outputs a signal to follow the virtual straight line or virtual curve to start rice planting. It controls the automatic steering of the aircraft.

そのフローチャートに従って説明すると、スタートに続
くステップS1にて、初期値を設定したのち、ステップ
S2にて農作業機のオペレータが走行機体1を同行して
圃場面に既に植付けられた作物列の側方に沿う走行に入
る。
To explain according to the flowchart, in step S1 following the start, initial values are set, and then in step S2, the operator of the agricultural machine moves the traveling machine 1 along with it to the side of the crop rows that have already been planted in the field. Start driving along.

つぎに、ステップS3にて撮像手段40による検出作動
を開始して、ステップS4にて画像データを取り込む(
第5図は植付は作物個所(NAE)を撮像画面42に撮
像した状態を示す)。
Next, in step S3, the detection operation by the imaging means 40 is started, and in step S4, image data is captured (
FIG. 5 shows a state in which the planted crop location (NAE) is imaged on the imaging screen 42).

次いでステップS5にて植付は作物個所(NAE)を他
の圃場面と区別する2値化処理を行う。
Next, in step S5, binarization processing is performed to distinguish the planting crop area (NAE) from other field scenes.

本実施例において、撮像された画像をカラー画面にて構
成するときには、RGB表色系〔赤色(R)、 緑色(
G)、青色(B)の色光を原色光とし、加光により白が
得られる〕による赤色成分、緑色成分、青色成分との各
色成分の信号にて圃場面の特徴を抽出し、この三色成分
の信号出力の総和(R+G+B=1)に対する緑色(G
)成分の信号出力比率が所定の値以上のときを苗(作物
)と判別してその領域(A)を撮像画面42の他の箇所
から分割(Segmentation) L/て特定す
る2値化処理を実行する。
In this embodiment, when configuring a captured image on a color screen, the RGB color system [red (R), green (
G), blue (B) color light is used as primary color light, and white is obtained by adding light] The characteristics of the field scene are extracted from the signals of each color component: red component, green component, and blue component. The green color (G
) When the signal output ratio of the component is equal to or higher than a predetermined value, it is determined that the area (A) is a seedling (crop), and the area (A) is segmented from other parts of the imaging screen 42 (Segmentation). Execute.

その他、画像において色信号のうち緑色成分から青色成
分を引いた色差画像データ(G−B)が一定以上の出力
である箇所を苗(作物)と判断する色差処理による2値
化を実行しても良い。
In addition, binarization is performed using color difference processing, which determines as seedlings (crops) where the color difference image data (GB) obtained by subtracting the blue component from the green component of the color signal in the image is output above a certain level. Also good.

さらに、白黒テレビのように作物個所とその他の泥面(
上面)との明度差を検出して、一定以上のしきい値を越
えるとき、作物個所(NAE)であると判別する2値化
処理するようにしても良い(第6図は対象領域(A)を
2値化した状態を示す)。
In addition, crop areas and other mud surfaces (like black and white television)
It is also possible to detect the difference in brightness between the target area (A ) shows the binarized state).

なお、苗等の植物による赤外線の反射率が圃場の泥や水
等による赤外線の反射率より高いという現象を利用し、
前記カラー用または白黒用の撮像手段40において、赤
外線及び/または近赤外線領域の可視光線に感受性の高
い撮像素子を使用するか、または前記赤外線及び/また
は近赤外線領域の可視光線を良く透過するフィルタ(赤
外線フィルタ等)を用いて撮像すると、植付は作物個所
の判別を確実且つ容易にできる。
Furthermore, by utilizing the phenomenon that the reflectance of infrared rays from plants such as seedlings is higher than the reflectance of infrared rays from mud and water in the field,
In the color or black and white imaging means 40, an image sensor that is highly sensitive to visible light in the infrared and/or near-infrared region is used, or a filter that highly transmits visible light in the infrared and/or near-infrared region is used. If images are taken using an infrared filter (such as an infrared filter), the location of the planted crop can be reliably and easily identified.

ステップS6では、前記2値化された植付は作物個所の
位置の座標を決定する計算を実行する。
In step S6, the binarized planting performs a calculation to determine the coordinates of the position of the crop site.

即ち、前記2値化された各対象領域(A)は、撮像画面
42における複数の画素の集合として適宜の平面視形状
の面積を有するように特定されている(第7図参照)。
That is, each binarized target area (A) is specified as a set of a plurality of pixels on the imaging screen 42 so as to have an appropriate area in a plan view (see FIG. 7).

この特定された対象領域(A)から画像処理装置41に
組み込まれたソフトによる予め定められた手法により、
各特定領域(A)の中心位置または重心位置の座標を計
算する。
From this specified target area (A), using a predetermined method using software installed in the image processing device 41,
The coordinates of the center position or center of gravity of each specific area (A) are calculated.

この座標の計算手法の一つとして、撮像画面42の縦軸
(Y軸)と横軸(X軸)にて行列的に並ぶ画素の集合に
おいて、対象領域(A)の面積に対応した画素のレベル
V=1の部分(ハイレベル)を当該対象領域(A)の外
周から渦巻状に順次レベルv−0(ロウレベル)に置き
換える等して、いわゆる面積の収縮と同様の手法にて最
終的に残ったハイレベルの部分(1〜2個の画素)の位
置を重心位置と判断するようにして座標を決定する。
One method for calculating these coordinates is to calculate the number of pixels corresponding to the area of the target area (A) in a set of pixels arranged in matrix on the vertical axis (Y axis) and horizontal axis (X axis) of the imaging screen 42. Finally, by replacing the level V = 1 part (high level) with level v-0 (low level) in a spiral manner from the outer periphery of the target area (A), etc., using a method similar to so-called area contraction. The coordinates are determined by determining the position of the remaining high level portion (1 to 2 pixels) as the center of gravity.

ステップS7では、前記複数個の各々特定された対象領
域(A)の中心または重心位置データから、仮想線を直
線と仮定しその仮想直線を計算する計算ステップである
。前記画像処理装置41または中央制御装置35に内臓
されている仮想線計算手段(直線または曲線の関数発生
回路と演算回路とを含む)にて仮想線の計算を実行する
Step S7 is a calculation step in which the virtual line is assumed to be a straight line and the virtual line is calculated from the center or center of gravity position data of the plurality of target areas (A) identified. A virtual line calculation means (including a straight line or curved function generation circuit and an arithmetic circuit) built into the image processing device 41 or the central control device 35 executes calculation of the virtual line.

直線の仮想線Klを特定する仮想線計算手段の一つとし
て、一般によく知られるように、最小二乗誤差推定によ
る仮想直線Klの決定演算手法がある。
As one of the virtual line calculation means for specifying the straight virtual line Kl, there is a generally well-known method for determining the virtual straight line Kl by estimating the least squares error.

即ち、この手法は、複数の領域の集合 (座標(χi、Yi )  (i =L2+3+”・・
、n) )が与えられているとき、求める直線関数 F (x)−aO+alxとすると、 誤差E−>l” 1Yi−F (xi)  l”が最小
となるようl:1 な関数F (x)を求めれば良い。
That is, this method uses a set of multiple regions (coordinates (χi, Yi) (i = L2+3+"...
, n) ) is given, and the linear function F (x)-aO+alx to be sought is given, then the function F (x ).

なお、ここでY軸は走行機体の前進する方向に取り、X
軸は走行機体の左右横方向に取る。
Note that here, the Y axis is taken in the direction in which the traveling aircraft moves forward, and the
The axis is taken in the left and right direction of the traveling aircraft.

次いで、ステップS8にて、この仮想直線KNに対して
前記特定された複数の対象領域Al、A2 、 A 3
 、 ・・・・A nにおける座標(χi、Yi )(
i =1.2,3.・・・・+n)との横ずれの偏差(
Δi)を計算する(第8図参照)。
Next, in step S8, the plurality of target areas Al, A2, A3 identified above with respect to this virtual straight line KN are
, ...Coordinates (χi, Yi) at A n (
i=1.2,3. ...+n) and the deviation of the lateral slip (
Δi) (see Figure 8).

第8図で理解できるように、−点鎖線で示す仮想直線に
1に対して座標A I  (XI、Yl )の偏差(A
1) 、A5 (X5.Y5 )0)偏差(A5) 、
A8(X8.Y8 ”)の偏差(A8)は他の座標の偏
差より大きいことが判り、この大きい偏差が予め設定し
た許容の偏差との大小比較をステップs9にて実行し、
許容範囲内であれば、そのまま■に進み、ステップSI
Oにて前記計算された仮想直線に/と基準線KO(例え
ば撮像画面42の左右中心のY軸)との傾き角度θ及び
横ずれδを計算し、次いでステップSllにてこの傾き
角度θや横ずれδが許容範囲内に納まって基準線KOと
仮想直線に1とを略一致させるように自動操舵制御を実
行するのである。即ち、前記傾き角度θや横ずれδに応
じて中央制御装置35に出力信号を出し、操舵制御弁3
4の電磁ソレノイドを作動させ、ステアリング機構にお
けるステアリングアーム24の回動角度を変える油圧シ
リンダ26を駆動させて修正操舵し、横ずれ等を誤差の
許容範囲内に納めるようにするのである。
As can be understood from FIG. 8, the deviation (A
1) , A5 (X5.Y5 )0) Deviation (A5) ,
It is found that the deviation (A8) of A8 (X8.Y8'') is larger than the deviations of other coordinates, and in step s9, this large deviation is compared with a preset allowable deviation,
If it is within the allowable range, proceed to ■ and proceed to step SI.
In O, the inclination angle θ and lateral deviation δ between the calculated virtual straight line and the reference line KO (for example, the Y-axis at the left-right center of the imaging screen 42) are calculated, and then in step Sll, this inclination angle θ and lateral deviation are calculated. The automatic steering control is executed so that δ falls within the allowable range and the reference line KO and the virtual straight line 1 substantially coincide with each other. That is, an output signal is output to the central controller 35 according to the tilt angle θ and the lateral deviation δ, and the steering control valve 3
The electromagnetic solenoid No. 4 is operated to drive the hydraulic cylinder 26 that changes the rotation angle of the steering arm 24 in the steering mechanism, thereby performing corrective steering and keeping lateral deviation, etc. within an allowable error range.

他方、前記ステップS8の判別にて前記偏差(Δi)が
予め定めた一定の値以上であるときには仮想線が直線で
なく曲線であると判断する。
On the other hand, if the deviation (Δi) is greater than or equal to a predetermined value in the determination in step S8, it is determined that the virtual line is not a straight line but a curved line.

曲線的であると判断するときには、ステップ8゜12か
らステップS14にて、エリアセンサー39からの画像
処理による自動操舵の制御を実行するのである。
When it is determined that the vehicle is curved, automatic steering control is executed by image processing from the area sensor 39 in steps 8-12 to S14.

即ち、ステップSllでは、前記画像処理装置41また
は中央制御装置35に内臓されている仮想線計算手段(
直線または曲線の関数発生回路と演算回路とを含む)を
曲線の関数発生回路に切換えて、再度前記植付苗列の仮
想線Kcを曲線として近似計算する。
That is, in step Sll, virtual line calculation means (
(including a linear or curved function generation circuit and an arithmetic circuit) is switched to a curved function generation circuit, and the virtual line Kc of the planted seedling row is again approximated as a curved line.

そのとき、前記の最小二乗誤差推定による仮想線の決定
演算による手法を用いると、ソフトの簡略化に寄与でき
る。例えば、求める関数F (x) =aO+alx 
+a2xのように二次曲線と仮定し、前記と同様に複数
の領域の集合 (座ai (Xi、Yi )  (i =1.2.3.
・目・、n) )は前記ステップS6にてデータとして
既に得られているので、誤差E−Σ1YiF(Xi) 
 l”  が最小となzl るような関数F (x)を求めれば良い。
At this time, using the above-mentioned method of determining the virtual line by estimating the least squares error can contribute to the simplification of the software. For example, the desired function F (x) = aO+alx
Assuming that it is a quadratic curve like +a2x, we create a set of multiple regions (locus ai (Xi, Yi) (i = 1.2.3.
・th・, n) ) has already been obtained as data in step S6, so the error E−Σ1YiF(Xi)
What is necessary is to find a function F (x) that minimizes zl.

このときの仮想二次曲線Kcを第8図に実線で示すと、
前記仮想直線KI!に比較して、対象領域Al、A2.
A3.””Anにおける座標(Xi、Yi )  (i
 =1.2.3.”、n)との横ずれの偏差(Δi)が
小さいことが理解できる。
The virtual quadratic curve Kc at this time is shown as a solid line in FIG.
The virtual straight line KI! Compared to target areas Al, A2.
A3. ""Coordinates (Xi, Yi) (i
=1.2.3. ”, n) is small.

次いでステップ312にて、前記のようにして求められ
た仮想曲線Kcの基準点基準点等に対する傾き(θ)及
び横ずれ(δ)や仮想曲線Kc上の適宜間隔ごとの位置
における曲率Rを計算するものである。
Next, in step 312, the slope (θ) and lateral deviation (δ) of the virtual curve Kc obtained as described above with respect to the reference point, etc., and the curvature R at appropriate intervals on the virtual curve Kc are calculated. It is something.

この場合、第9図のように前記撮像手段4oにて撮像さ
れた撮像画面42の中央を基準点0とし、この基準点0
を通るX−Y直交座標系にてY軸(縦軸)を基準線とし
て前記仮想線Kcの傾き角度(θ)を計算する一方、基
準点0を通るX軸(横軸)と仮想線に1との交点から基
準点0迄の距離として横ずれ(δ)を計算するようにし
ても良いし、他の個所を基準にしても良い。
In this case, as shown in FIG.
The inclination angle (θ) of the virtual line Kc is calculated using the Y-axis (vertical axis) as the reference line in the X-Y orthogonal coordinate system passing through the reference point 0, while the The lateral shift (δ) may be calculated as the distance from the intersection with 1 to the reference point 0, or another location may be used as the reference.

そしてステップS13にて、仮想曲線Kcに沿うような
自動操舵制御を実行する。このとき、実際の操舵による
走行機体1が前記仮想曲線Kcの傾き角度(θ)及び横
ずれ(δ)や曲率Rとが誤差の許容範囲内に入るように
中央制御装置35に出力信号を出し、操舵制御弁34の
電磁ソレノイドを作動させ、ステアリング機構における
ステアリングアーム24の回動角度を変える油圧シリン
ダ26を駆動させて修正操舵する。
Then, in step S13, automatic steering control is executed to follow the virtual curve Kc. At this time, output signals are sent to the central controller 35 so that the inclination angle (θ), lateral deviation (δ), and curvature R of the virtual curve Kc of the traveling aircraft 1 by actual steering are within the allowable error range, The electromagnetic solenoid of the steering control valve 34 is actuated to drive the hydraulic cylinder 26 that changes the rotation angle of the steering arm 24 in the steering mechanism, thereby performing corrective steering.

なお、この場合、ステアリングアーム24の回動角度を
検出するポテンショメータ36にて前車輪3が前記仮想
曲線Kcの傾き角度(θ)と一致する操舵角度を有して
いるか否かの検出ができるので、その結果を自動操舵制
御のフィードバックに役立てることができる。
In this case, the potentiometer 36 that detects the rotation angle of the steering arm 24 can detect whether or not the front wheel 3 has a steering angle that matches the inclination angle (θ) of the virtual curve Kc. , the results can be used as feedback for automatic steering control.

【図面の簡単な説明】[Brief explanation of the drawing]

図面の本発明の実施例を示し、第1図は乗用型田植機の
平面図、第2図は側面図、第3図は操向装置の要部平面
図、第4図は操向・走行自動制御装置のブロック図と油
圧回路を含む作用説明図、第5図は撮像画面の図、第6
図は2値化された撮像画面における説明図、第7図の(
a)、  (b)。 (C)はフローチャート、第8図は作物列の仮想線を直
線近似した場合と曲線近似した場合の比較説明図、第9
図は撮像画面における仮想曲線の説明図である。 1・・・・走行機体、2・・・・フレーム、3.4・・
・・車輪、5・・・・苗載台、6・・・・植付機構、7
・・・・苗植装置、8・・・・リンク機構、9・・・・
エンジン、11・・・・ミッションケース、17・・・
・ステアリングギヤボックス、20・・・・操縦ハンド
ル、NAE・・・・植付は作物箇所、KA・・・・仮想
直線、Kc・・・・仮想曲線、23・・・・回動支点軸
、24・・・・ステアリングアーム、26・・・・油圧
シリンダ、34・・・・操舵制御弁、35・・・・中央
制御装置、36・・・・ポテンショメータ、40・・・
・撮像手段、41・・・・画像処理装置、42・・・・
撮像画面。 図 第5図 第6図 (b)       (c]
The drawings show an embodiment of the present invention, and Fig. 1 is a plan view of a riding rice transplanter, Fig. 2 is a side view, Fig. 3 is a plan view of main parts of the steering device, and Fig. 4 is a steering/travelling diagram. A block diagram of the automatic control device and an action explanatory diagram including a hydraulic circuit; Figure 5 is a diagram of the imaging screen; Figure 6 is a diagram of the imaging screen;
The figure is an explanatory diagram of a binarized imaging screen, and (
a), (b). (C) is a flowchart, FIG. 8 is a comparative explanatory diagram of the case where the virtual line of the crop row is approximated by a straight line and the case where it is approximated by a curve, and FIG.
The figure is an explanatory diagram of a virtual curve on an imaging screen. 1... Traveling body, 2... Frame, 3.4...
... Wheels, 5 ... Seedling stand, 6 ... Planting mechanism, 7
...Seedling planting device, 8...Link mechanism, 9...
Engine, 11...Mission case, 17...
- Steering gear box, 20... Control handle, NAE... Planting at crop location, KA... Virtual straight line, Kc... Virtual curve, 23... Rotation fulcrum axis, 24... Steering arm, 26... Hydraulic cylinder, 34... Steering control valve, 35... Central control device, 36... Potentiometer, 40...
- Imaging means, 41... image processing device, 42...
Imaging screen. Figure 5 Figure 6 (b) (c]

Claims (1)

【特許請求の範囲】[Claims] (1)、圃場内に既に植付けられた作物列に沿ってその
側方で略並行状に走行するように田植機等の農作業機を
自動操舵制御するために用いる作物列検出装置を、前記
作物列における植付け作物個所を撮像する撮像手段と、
撮像手段の画像情報から前記作物列に沿う仮想線を計算
する仮想線計算手段とにより構成し、該仮想線計算手段
を、当該仮想線計算手段により一旦直線の仮想線を計算
し、作物列との偏差が所定以上であれば、二次曲線等の
曲線の仮想線を求める計算に切換えるように構成したこ
とを特徴とする農作業機における作物列検出装置。
(1) A crop row detection device used for automatic steering control of an agricultural machine such as a rice transplanter so that it runs approximately parallel to and along the rows of crops already planted in the field. imaging means for imaging the planted crop location in the row;
and a virtual line calculation means for calculating a virtual line along the crop row from the image information of the imaging means, and the virtual line calculation means is configured to calculate a straight virtual line by the virtual line calculation means, and then calculate a virtual line along the crop row. 1. A crop row detection device for an agricultural working machine, characterized in that, if the deviation of the curve is equal to or greater than a predetermined value, the calculation is switched to obtain a virtual line of a curve such as a quadratic curve.
JP63035511A 1988-02-18 1988-02-18 Crop row detection apparatus of farm working machine Pending JPH01211410A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63035511A JPH01211410A (en) 1988-02-18 1988-02-18 Crop row detection apparatus of farm working machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63035511A JPH01211410A (en) 1988-02-18 1988-02-18 Crop row detection apparatus of farm working machine

Publications (1)

Publication Number Publication Date
JPH01211410A true JPH01211410A (en) 1989-08-24

Family

ID=12443784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63035511A Pending JPH01211410A (en) 1988-02-18 1988-02-18 Crop row detection apparatus of farm working machine

Country Status (1)

Country Link
JP (1) JPH01211410A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03191403A (en) * 1989-12-21 1991-08-21 Nissan Motor Co Ltd Traveling data processor for autonomous-traveling vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03191403A (en) * 1989-12-21 1991-08-21 Nissan Motor Co Ltd Traveling data processor for autonomous-traveling vehicle

Similar Documents

Publication Publication Date Title
JPH01211410A (en) Crop row detection apparatus of farm working machine
JP2815760B2 (en) Crop row detector
JP2502981Y2 (en) Image processing system for crop row detection in rice transplanter
JP2667462B2 (en) Automatic steering control device for agricultural work machine
JPH01211411A (en) Crop row detection apparatus of farm working machine
JP2583583B2 (en) Automatic rudder control device for agricultural work machine
JP2593164B2 (en) Seedling row detecting device in rice transplanter
JPH0312713A (en) Image processor for automatic steering controller of farming machine
JP2583584B2 (en) Automatic steering control device for agricultural work machine
JP2710644B2 (en) Automatic steering control device for agricultural work machine
JP2593166B2 (en) Seedling row detecting device in agricultural work machine
JP2593165B2 (en) Automatic steering detection device for agricultural work machine
JPH01187013A (en) Automatic steering controller in agricultural machine
JPH0628032A (en) Traveling control device for automatic traveling working vehicle
JPH01211408A (en) Apparatus for detecting row of crop in farm working machine
JPH01187012A (en) Automatic steering controller in agricultural machine
JPH01211409A (en) Automatic steering apparatus for farm working machine
JPH0257109A (en) Automatic steering control apparatus of farm working machine
JPH09224415A (en) Direction detector, traveling state display device and traveling controller for work wagon
JPH01187011A (en) Row detector of transplanted seedlings in agricultural machine
JPH02156806A (en) Controller for automatic steering in agricultural working machine
JPH03272607A (en) Crop row detection apparatus of farm working machine
JP2594098B2 (en) Automatic steering device for transplanter
JPH09168315A (en) Boundary detector, display device for running stage and running control device in working vehicle
JPH01277408A (en) Automatic steering controller in agricultural working machine