JPH0276506A - 農作業機における画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、圃場に既に植付けられて列状に並ぶ、いわゆ
る植付苗列等の作物列に対して略並行状に田植機等の農
作業機を走行できるようにする自動操舵装置に使用する
画像処理装置に関するものである。

〔従来の技術〕

従来から田植機９により圃場に苗を植付ける場合、田植
機にその進行方向左右に適宜間隔で植付機構を設け、田
植機の進行につれて上下回動する植付機構にて苗載台の
苗マン１〜を適宜株数ごとに分割しながら圃場面に植イ
」けるので、圃場面には、田植機の進行方向に沿って適
宜の植（＝Ｊ間隔（植付ピッチという）で、植付は苗箇
所が並ぶと同時に、進行方向に対して左右方向に適宜間
隔（以下条間隔という）で複数列にて植付けられること
は周知である。

そして、圃場に既に植付けられた植付苗列（作物列）と
略並行状に田植機を走行できるようにする自動操向装置
の先行技術として、特開昭６２−６１５０９号公報では
、前進させる田植機に搭載したカラービデオカメラにて
、前記隣接した部分の植付苗列のうちの適宜範囲を撮像
し、この撮像画面情報を２値化処理して各植付は苗箇所
に対応する領域を抽出して後、八ツ（Ｈｏｕｇｈ　）変
換等の処理により前記複数の領域からなる列から直線を
近似計算し、この計算上の仮想直線と撮像画面の縦横中
心線等の任意の基準線及び基準点に対する横ずれ及び傾
斜のずれの隔たりを一定の許容範囲内に納まるように機
体の操向制御を実行することを提案している。

〔発明が解決しようとする課題〕

前記先行技術においては、撮像手段は、いわゆるビデオ
カメラのごとくの二次元撮像手段であって、撮像画面が
縦横の拡がりを持つ二次元的な画面を有するものである
。

従って、この二次元撮像手段によれば、画像情報として
の一枚の画面に複数の植付り苗箇所等の植付は作物箇所
がその幾何学的関係と共に同時に検出できる。

しかしその反面、前記の画像情報のデータ数が膨大でそ
の為の記憶部の容量を大きくしなければならず、自動操
舵に必要な所定のデータを得るための画像処理の演算が
複雑である一方、車両搭載用の容量の小さいコンピュー
タでは演算速度が遅くなり、前記演算結果から操舵制御
までの時間が掛かり過ぎるから、画像データを収集して
操舵制御するまでの間に最適制御すべき地点を越えて農
作業機が前進してしまい、一種の制御のハンチング現象
が生じるという問題があった。

他方、光電センサーや光電素子を横一列状に並べて成る
一次元ＣＣＤカメラ等のいわゆる一次元撮像手段（ライ
ンセンサーともいう）を使用して前記植付は箇所を検出
するときには、当該一次元撮像手段をその光電素子等の
画素が田植機の進行方向と直角な左右に長く並ぶように
配設し、この一次元撮像手段のうちのいずれかの画素に
て植イ１け作物箇所を特定するように検出するものであ
り、画像情報を得るための画像処理の演算は簡単で、迅
速な処理が可能である反面、機体の進行方向前後の情報
は一切含まれていないから、前記作物列が走行方向に沿
って左右に大きくずれたり、作物列が湾曲している場合
（湾曲した畦に沿って作物列が存在する場合）にはその
横ずれや湾曲の情報を予測できないという欠点があった
。

苗植え等の作付は作業後の適宜時期に施肥または薬剤散
布する管理機は、前記既に植付けられた作物列に沿って
進行させつつ作業を実行するので、このような農作業機
に自動操向装置を搭載する場合にも前記と同様の問題が
生じるのであった。

これらの欠点に鑑みて、本出願人は先に作物列の検出を
一次元撮像手段だけで実行して、時間的に少なくとも二
つの前後の画像データから、作物列の左右方向のｆ頃き
や横ずれの偏差を検出する画像処理を実行することを提
案した。

しかしなが−ら、一定の時間間隔（以下サンプリング周
期という）にて植付は作物箇所を撮像して画像データを
サンプリングするとき、農作業機の対地速度が高速であ
ると、一つのサンプリングからその次のサンプリングま
でに移動している前進距離が大きいから、サンプリング
周期が大き過ぎると、途中の植付は作物箇所の画像デー
タが欠落することになり、後の画像処理が不正確になる
。

しかも、画像処理に使用するサンプリング数を多くする
と、今回の操舵制御から次回の操舵制御までに農作業機
が大きい距離前進してしまうことになり、制御の時間間
隔が長いため操舵制御が荒く不正確になるという問題が
ある。

反対に、対地速度が遅い場合に、サンプリング周期が小
さ過ぎると、今回のサンプリングの画像データと次回の
サンプリングの画像データとに重複するデータが多く入
り過ぎる。そのわりには農作業機の前進距離は短いので
、採取できるサンプリング数は少ないから、こ゛の場合
にも操舵の制御は不正確になるという問題があった。

本発明は、一次元撮像手段により作物列を検出して画像
処理するときの前記問題を解消することを目的とするも
のである。

〔課題を解決するための手段〕

そこで本発明は、圃場を走行する田植機等の農作業機に
搭載した一次元撮像手段にて、植付けられた作物列にお
ける植付は作物箇所を撮像し、その画像情報を処理する
画像処理装置において、前記一次元撮像手段にて時間の
経過順に得られた複数の画像データを累積して二次元的
画像を生成する二次元化手段と、農作業機の対地速度セ
ンサーとを備え、時間の経過順にｆ−Ｕられた複数の画
像データのサンプリングのうち、今回のサンプリング中
の古い部分を捨ててそれと同数の新しい画像データを加
入して次回の二次元的画像を生成する場合の当該新加入
サンプリング数を、対地速度センサーの検出結果に応じ
て農作業機の対地速度が高速のときには、低速のときよ
りも多くなるように設定したものである。

〔発明の作用・効果〕

この構成によれば、農作業機に搭載した一次元撮像手段
の複数の画素が農作業機の進行方向と直角な左右方向に
並ぶようにしておくと、植付は作物個所を撮像する一回
のサンプリングごとに、農作業機の進行方向には短いが
左右に長い１フレームの画像データが得られる。

このサンプリングを適宜のサンプリング周期ごとに複数
回繰り返すと、農作業機の前進につれてその前進方向の
手前側から順に圃場における植付は作物箇所、ひいては
作物列を複数箇所撮像することができる。

このように得られた複数の画像データを時間的に累積さ
せて合成すると、つまり時間的に経過の順にサンプリン
グした複数の画像データをその時間経過順に並べると、
複数のライン状の部分画面を時間の経過順に複数枚並べ
たことになり、あたかも平面的な画像と同様な二次元的
な画像を得ることができる。

そして、農作業機が適宜前進するごとに、前記二次元的
画像を順次生成した後、これを２値化する等の画像処理
を施して作物列の特徴を抽出する。

この場合、時間を追って順次二次元的画像を生成するの
であるが、本発明では、今回の二次元的画像を生成する
にあたって使用した複数の画像データのうち、今回のサ
ンプリング中の古い部分を捨ててそれと同数の新しい画
像データを加入してそのつぎの回の二次元的画像を生成
するのであり、このように新な二次元的画像の生成にあ
たり、今回の二次元的画像の生成の際に使用した画像デ
ータのうち新しい部分を次回の成育時に考慮に入れるこ
とにより、時間的に隣接する次回の二次元的画像の中に
作物列の前後方向の特徴を続けて入るようにすることが
できるから、操舵制御の連続性を向上させることができ
る。

そして、対地速度が大きい場合には、時間的に相前後す
る二つの二次元的画像のうち古い二次元的画像を生成し
た後、次の新しい二次元的画像を生成する迄の時間経過
中に農作業機は相当程度の距離前進しているのだから、
当該新しい二次元的画像を生成するにあたっては、一次
元撮像手段にてサンプリングされる画像データの新しい
部分（新加入サンプリング数）を多く採用することによ
り、農作業機の前進方向の前寄りの植付は作物箇所の画
像情報をより多く取り入れることができ、高速の場合の
自動操舵の制御の追従性を一段と向上させることができ
る。

反対に、対地速度が小さい場合には、新加入サンプリン
グ数を少なくしても、その所定の時間あたりの農作業機
の前進距離が少ないので自動操舵の追従性に悪影響を及
ぼずことがないのである。

また、画素数の少ない一次元撮像手段により植付は作物
個所を撮像するのであるから、その画像情報の検出速度
及びその画像情報をｆＷるための画像データ等の記憶容
量を少なくでき、その後の画像処理も迅速に実行するこ
とができる。

〔実施例〕

以下田植機に適用した実施例について説明すると、図に
おいて１は前部左右両側の前車輪３．３と後部左右両側
の後車輪４．４にて支持された走行機体で、この走行機
体１の後部には、苗載台５と複数の植付機構６とから成
る多条植え式の苗植装置７が、リンク機構８を介して上
下昇降可能に装着されている。

走行機体１の上面に搭載したエンジン９の動力は、クラ
ッチ１０及びミッションケース１１を介して前後両車軸
３，４に伝達する一方、このミッションケース１１から
突出するＰＴＯ軸１２を介して前記苗植装置７に動力伝
達する。なお、符号１３はクラッチ１０のＯＮ・ＯＦＦ
用アクチエータ、１４は走行変速用アクチエータ、１５
はＰＴＯ軸変軸周速用アクチエータる。

前記走行機体１における操縦座席１６の前方に設げたハ
ンドル１７を介してステアリング機構１８を回動操作し
、前車輪３．３の向きを左右に変えるように構成してあ
り、自動操舵装置は前記ステアリング機構１８における
回動支点軸１９に水平回動自在に装着された平面視り字
型のステアリングアーム２０、該ステアリングアーム２
０に連結する左右一対のタイロフド２１，２１、油圧シ
リンダ２２、手動操舵用の制御弁２３ならびに該操舵制
御弁２３を操作するステアリングギアボックス２４０前
後揺動自在なピットマンアーム２５から成る。

前記ステアリングアーム２０には、前記制御弁２３を球
関節を介して後向きに連結する一方、該制御弁２３の後
端のスプールと前記ピントマンアーム２５とを連結する
。

また、走行機体１に前端を回動自在に連結する油圧シリ
ンダ２２の後端を前記ステアリングアーム２０に回動自
在に連結してあり、前記ハンドル１７の回動角度に対応
して揺動するピントマンアーム２５により、制御弁２３
のスプールを進退動させて、エンジン９により駆動され
る油圧ポンプ２６からの油圧を送り、油圧シリンダ２２
におけるピストンロンドを出没動させ、ステアリングア
ーム２０の回動に応じて、左右両前車輪３，３の向きを
変える。

この油圧シリンダ２２は、電磁ソレノイド式の自動操舵
制御弁２７によっても駆動され、その際前輪３の舵取り
角度は、回動支点軸２３に取付くポテンショメータ２８
にてステアリングアーム２０の回動角度を検出すること
により読み取ることができる。

そして、前記自動操舵制御弁２７は、自動操舵・走行用
の中央制御装置３０にて駆動される操舵コントローラ３
１の出力信号により作動し、また、前記クラッチ１０の
ＯＮ・ＯＦＦ用アクチエータ１３、走行変速用アクチェ
ータエ４、ＰＴＯ軸変軸周速用アクチエータ１５央制御
装置３０にて駆動される走行コントローラ３２にて作動
する。

符号３３は一次元撮像手段で、例えば、一次元ＭＯ３撮
像素子や一次元ＣＣＤ撮像素子を内臓したものでは、レ
ンズを通して結ばれた像は、その結像面に一次元的アレ
イ状（横一列状）に複数個（例えばｍ個）配列された撮
像素子（光電素子）にて感知されて撮像の情報を電気信
号として出力できるものであり、撮像素子は走行方向と
直角な左右に一列状に並ぶものとする。

またこれらの撮像手段３３はカラー用、白黒用のいずれ
であっても良いが、カラー用とすることにより、圃場面
と作物列とを区別してその特徴を明確に認識することが
できる。

なお、走行機体１が作物列の側方に沿って前進し、その
作物列の終端部分で１８０度転回折返して走行する場合
のことを考慮ずれば、撮像手段３３は、走行機体１の左
右両側に設けて撮像作業を左右切換えるようにするか、
一つの撮像手段３３を走行機体１の左右に配置替えでき
るようにする移動手段（図示せず）に装着するものであ
る。

符号３４は、前記一次元撮像手段３３にて撮像すること
により得たサンプリングの画像データを前処理する前処
理回路、符号３５は前記適宜時間間隔（ΔＴ−サンプリ
ング周期）ごとにサンプリングした画像データを各々記
憶させることができるフレームメモリで、該フレームメ
モリ３５では、複数回のサンプリングの画像データを一
挙に記憶できる容量を持つ。

符号３６は二次元化手段であって、該二次元化手段３６
では、前記一次元撮像手段３３にて時間の経過順に得ら
れた複数の画像データ（例えばＮ回のサンプリングによ
って得られたＮ個の画像データ）を時間的に累積して一
つの二次元的画像を生成するものである。

また、符号３７は農作業機（ここでは田植機）が前進す
るときの対地速度を検出する対地速度センザーで、前輪
３または後輪４の車軸等の回転速度から演算しても良い
。

画像データ入替え回路３８では、前記フレームメモリ３
５て記１、Ｏされた複数の画像データのうし、所定のサ
ンプリング数で二次元的画像を適宜時間間隔て生成する
場合、その時間的に相隣接した二つの二次元的画像の構
成要素である複数の画像データのうち、今回の二次元的
画像の生成のために使用したサンプリング中の古い部分
を捨ててそれと同数の新しい画像データを加入させる（
入れ替える）ものである。

例えば、一つの二次元的画像を生成するための画像デー
タかＮ＋［ｌＮ（従ってサンプリングもＮ個必要）であ
る場合、新旧入替えるべき画像データの数をＮｎ個とす
ると、今回の二次元的画像で使用した画像データのうち
時間的経過の新しい部分の（Ｎ−Ｎｎ＝Ｎｏ個）は次回
の二次元的画像の生成に使用する画像データＮ個のうち
Ｎ０個数はそのまま引き継いで使用する（重複させて使
用する）ことになる。

また、符号３９は前記サンプリング数（Ｎ（［１ｉｌ）
および新旧入替えるべきサンプリング数〔新加入サンプ
リング数（Ｎｎ個）〕を増減設定するだめのサンプリン
グ数設定器であり、前記対地速度センサー３７の検出結
果に応して、対地速度が大きい場合には、新加入サンプ
リング数（Ｎｎ個）を増大させ、低速の場合には減少さ
せるように自動的または手動的に切換えることができる
ものである。

例えば、第４図に示すように、農作業機が高速でＹ軸方
向に前進走行する場合に、Ｙ軸と直角方向にｍ個の画素
を有する一次元撮像手段３３にて、圃場に適宜距離（Ｌ
）ごとに植付けられた作物箇所（Ａ）を適宜サンプリン
グ周期（△Ｔ）で撮像する。

サンプリング数６個で一つの二次元的画像を生成すると
き、第４図のようにＮｌ、Ｎ２．Ｎ３．Ｎ４．Ｎ５．Ｎ
６の順に撮像した結果をフレームメモリ３５に記憶させ
て後、この６個の画像データをＮｌ、Ｎ２．Ｎ３．Ｎ４
゜Ｎ５．Ｎ６の順に下から並べ一枚の平面的な画像を形
成し、該画像から複数個の作物箇所（Ａ）の位置を２値
化等の特徴抽出手段で特定し、これら複数の（Ａ）点を
通る仮想線（直線または曲線）を最小二乗誤差推定法や
八ツ変換等の演算により決定し、この仮想線を基準線（
例えば前記Ｙ軸）からの横ずれ偏差や、偏角を求めるこ
とができる。

前記サンプリング時において、農作業機の対地速度が大
きい場合には、所定のサンプリング周期（ΔＴ）の間に
農作業機の前進距離か大きいので、第４図に示すよ・う
に、圃場の部分を撮像しない箇所が生じる。

前記相隣接するサンプリング間でその画像データに住し
る欠落（隙間）が小さい場合δこは、植付は作物箇所（
Ａ）を見失うことがないのでそのままで良いが、見失う
おそれか大きいときには、時間的に相前後する画像デー
タ間の隙間を無くするように若干の面積たり重複撮像す
ることが好ましし）。

反対に第５図で示すように農作業機の対地速度が低速で
あるときには、Ｎｌ、Ｎ２．Ｎ３．Ｎ４．Ｎ５．Ｎ６の
画像データの前後縁部分が適宜重複するが、その重複か
多過ぎるときには、−旦サンプリングした画像データの
幾つかを間引くことが好ましい。

そして、第６図（対地速度が高速の場合）に示すように
、−回目の二次元的画像生成でサンプリング数（Ｎ）を
使用したとすると、二回目の二次元的画像生成時には、
前記（Ｎ）個のうぢ古いサンプリング部分の（Ｎｎ）個
を捨て去り、時間的に新しいサンプリング部分の（Ｎｏ
）個の部分をそのままにし、前記捨て去って数と同数の
新加入サンプリング数（Ｎｎ）を加えて所定の（Ｎ）ｆ
ｌＭＩの画像データとして実行するのである。

そして対地速度が低速である場合には、第７図に示すよ
うに、各回の二次元的画像生成のためのサンプリング数
は（Ｎ′）で、重複するサンプリング数は（Ｎｏ′）、
新旧入れ替えるべき新加入サンプリング数を（Ｎｎ’）
とし、前述のように対地速度が高速の場合には低速の場
合よりも新加入サンプリング数を多くする（Ｎｎ＞Ｎｎ
’）のである。

これにより、対地速度が高速の場合に農作業機の前進前
側寄り位置の画像情報をより多く取り入れることができ
、操舵制御に際しての追従性が向上するのである。

なお、このような新加入サンプリング数の増減調節に加
えて、一つの二次元的画像を生成するために使用するサ
ンプリング数を高速時のもの（Ｎ）より低速時のもの（
Ｎ′）を多くするようにサンプリング数設定器３９にて
対地速度の検出結果に応じて自動または手動で変更する
ことで、低速時に植付は作物箇所（Ａ）の撮像される個
数が不足しないようにし、低速時に制御の安定性を図る
ことができる。

また、一定のサンプリング周期にて植イ」け作物箇所を
撮像して画像データをサンプリングするとき、農作業機
の対地速度が高速であると、一つのサンプリングからそ
の次のサンプリングまでに移動している前進距離が大き
いから、サンプリング周期が大き過ぎると、途中の植イ
４り作物箇所の画像データが欠落することになり、後の
画像処理が不正確になる。しかも、画像処理に使用する
サンプリング数を多くすると、前回の操舵制御から次回
の操舵制御までに農作業機が大きい距離前進してしまう
ことになり、制御の時間間隔が長いため操舵制御が荒く
不正確になるという問題がある。

反対に、対地速度が遅い場合に、サンプリング周期が小
さ過ぎると、前回のサンプリングの画像データと次回の
サンプリングの画像データとに重複するデータが多く入
り過ぎる。そのねりには農作業機の前進距離は短いので
、採取できるサンプリング数は少ないから、この場合に
も操舵の制御は不正確になるという問題があった。

そこで、特に対地速度が超低速の場合には植付は作物箇
所（Ａ）または画像データ数が６個程度、高速時には、
２〜３個数となるように設定すれば、高速時の制御追従
性と低速時の制御安定性とを同時に満足することができ
た。

なお、符号４０で示す画像処理コントローラでは、前記
二次元化手段にて得られた二次元的画像に基づき、その
二次元的画像を２値化等にて特徴を抽出し、その特徴を
処理して仮想直線を算出し、この仮想直線の基準線に対
する偏角や横ずれ偏差を演算処理などを実行するもので
ある。

このようにして得られた偏角や横ずれ偏差が許容範囲内
に入るように中央制御装置３０を介して操舵コントロー
ラ３１に入力して自動操舵制御弁２７の電磁ソレノイド
を作動させ、ステアリング機構におけるステアリングア
ーム２１の回動角度を変える油圧シリンダ２０を駆動さ
せて操舵修正し、所定の作物列の側方に対して適宜隔て
、且つ当該作物列に沿って略並行状に走行機体１を前進
させる自動操舵制御を実行するのである。

【図面の簡単な説明】

図面は本発明の実施例を示し、第１図は田植機の平面図
、第２図は側面図、第３図は操舵・走行自動制御装置の
ブロック図と油圧回路とを含む説明図、第４図は高速の
場合の一次元撮像手段による撮像の説明図、第５図は低
速の場合の一次元撮像手段による撮像の説明図、第６図
及び第７図は高速及び低速の場合の各々サンプリング数
の説明図である。 １・・・・走行機体、３，４・・・・車輪、５・・・・
苗載台、６・・・・植付機構、７・・・・苗植装置、９
・・・・エンジン、１７・・・・ハンドル、２０・・・
・ステアリングアーム、２２・・・・油圧シリンダ、２
７・・・・自動操舵制御弁、２８・・・・ポテンショメ
ータ、３０・・・・中央制御装置、３１・・・・操舵コ
ントローラ、３３・・・・一次元撮像手段、３４・・・
・前処理回路、３５・・・・フレームメモリ、３６・・
・・二次元化手段、３７・・・・対地速度センサー、３
８・・・・画像データ入替え回路、３９・・・・サンプ
リング数設定器、４０・・・・画像処理コントローラ。 特許出願人　　ヤンマー農機株式会社 区 １ｎ

Claims (1)

【特許請求の範囲】
1. （１）、圃場を走行する田植機等の農作業機に搭載した
   一次元撮像手段にて、植付けられた作物列における植付
   け作物箇所を撮像し、その画像情報を処理する画像処理
   装置において、前記一次元撮像手段にて時間の経過順に
   得られた複数の画像データを累積して二次元的画像を生
   成する二次元化手段と、農作業機の対地速度センサーと
   を備え、時間の経過順に得られた複数の画像データのサ
   ンプリングのうち、今回のサンプリング中の古い部分を
   捨ててそれと同数の新しい画像データを加入して次回の
   二次元的画像を生成する場合の当該新加入サンプリング
   数を、対地速度センサーの検出結果に応じて農作業機の
   対地速度が高速のときには、低速のときよりも多くなる
   ように設定したことを特徴とする農作業機における画像
   処理装置。