JPH0312713A - 農作業機の自動操舵制御装置における画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、圃場に植付けられて列状に並ぶ、いわゆる作
物列に沿って田植機等の農作業機を倣い走行できるよう
にする自動操舵制御装置における画像処理装置の構造に
関するものである。

〔従来の技術〕

従来、例えば田植機により圃場に苗を植付ける場合、田
植機にその進行方向左右に適宜間隔で植付機構を設け、
田植機の進行につれて上下回動する植付機構にて苗載台
の苗マントを適宜株数ごとに分割しながら圃場面に植付
けるので、圃場面には、田植機の進行方向に沿って適宜
の苗植付間隔で、植付は苗箇所が並ぶと同時に、進行方
向に対して左右方向に適宜間隔で複数列にて植付けられ
ることは周知である。

そして、圃場に既に植付けられた植付苗列（以下作物列
という）と略並行状に田植機を走行できるようにする自
動操舵装置の先行技術として、特開閉６２−６１５０９
号公報では、前進させる田植機に搭載したカラービデオ
カメラにて、前記隣接した部分の作物列のうちの適宜範
囲を撮像し、この画像情報を２値化処理して各植付は作
物箇所に対応する領域を抽出して後、ハフ（ｌＩｏｕｇ
ｈ　）変換等の処理により前記複数の領域からなる列か
ら直線を近似計算し、この計算上の仮想直線と撮像画面
の縦横中心線等の任意の基準線及び基準点に対する横ず
れ偏差及び進行方向の傾斜のずれである偏角を一定の許
容範囲内に納まるように機体の操舵制御を実行すること
を提案している。

〔発明が解決しようとする課題〕

前記先行技術のように、仮想直線の撮像画面等における
基′ｄｐ、線に対する偏角や基準点に対する横ずれ偏差
を演算するに際して、第９図に示すように、撮像画面Ａ
に作物列Ｌｌ、Ｌ２というように２列以上撮像されると
、どの作物列が基準の作物列であるかの判別を要するこ
とになり、演算時間が長くなって、結果的には、自ｈノ
操舵を円滑に実行できないという問題があった。

この不都合を解消するため、撮像画面の略中央部付近に
１列の作物列しか撮像されないように撮像手段のレンズ
系の倍率を大きい状態に固定的に決定して、いわゆる撮
像手段による視界を狭く限定すると、作物列が直線でな
く大きく曲がっている場合等には、前記視界に作物列が
入ってこないときがあり、検出すべき作物列を見失って
しまい、自動操舵制御が不能になるという問題があった
。

本発明は、前記のような問題を解決することを目的とす
るものである。

〔課題を解決するための手段〕

そこで本発明は、撮像手段にて農作業機、の進行方向に
沿って植立した１列の作物列を斜め上方から撮像し、そ
の画像情報から農作業機の直進等の基準に対する前記作
物列の仮想直線及び撮像画面の基準に対する仮想直線の
偏差を演算する演算手段と、前記仮想線の偏差から所定
の操舵規則に従って自動操舵する手段とにより、圃場内
に植付けられた作物列に沿ってその側方で略並行状に走
行するように田植機等の農作業機を自動操舵制御する装
置において、前記演算手段にて前記仮想直線の偏差の演
算を適宜時間間隔ごとに実行する一方、前記画像情報を
処理する画像データ範囲を、撮像画面の全範囲のうちの
一部に限定し、且つその限定範囲を、前回の仮想直線の
偏位の状態に応じて切換えるウィンドウ設定器を設けた
ものである。

〔発明の作用・効果〕

本発明においては、このように、適宜時間間隔または走
行距離間隔ごとの仮想直線の演算から１４られた横ずれ
偏差及び偏角（これらをまとめて偏位という）のデータ
に基づき、操舵制御を実行しつつ、他方撮像手段にてそ
の作物列を撮像する場合、毎回の撮像および演算を実行
する時間間隔または走行機体の前進距離間隔はそれほど
大きくはないので、前回と今回とで同じ作物列が撮像画
面に撮像される範囲は、あまり大きく変換しない。

例えば、前回の演算による仮想直線が撮像画面の右寄り
部分で上方に行くに従って基準軸に対して近付くような
傾向は、今回（適宜時間間隔ごとの演算）の演算にて得
られた仮想直線の傾向と太きく異なることはない。

従って、ウィンドウ設定器を備えることにより、前記適
宜時間間隔または走行距離間隔ごとの仮想直線の演算か
ら得られた偏位のデータに基づき、ウィンドウ設定器に
てどのスイッチ区域にすべきかを判断し、そのスイッチ
区域に応じて撮像手段による撮像画面中のうち所定の範
囲のみ画像処理する（以下このような画像処理範囲を限
定し、撮像画面のうち所定の画像データ範囲（ウィンド
ウ領域）のみ画像処理することをウィンドウ処理という
）を実行すると、そのウィンドウ領域内に今回の仮想直
線の大部分が入りことになるので、このウィンドウ領域
内のみ画像処理すれば足りる。

従って、ウィンドウ領域を撮像画面全体に比べて狭くし
たものでありながら、植付は作物箇所ひいては作物列を
画像処理上にて見失うことがないという効果を奏する。

また、撮像画面の全範囲よりも小さいウィンドウ領域の
みを画像処理するので、撮像画面すべてを画像処理する
のに比べ画像処理時間を短くできると共に、１列以上の
作物列が入ることがないから、複数列の作物列のうちの
基準列を判別する必要がないので画像処理演算時間を短
くできるという顕著な効果を奏するのである。

〔実施例〕

以下田植機に適用した実施例について説明すると、図に
おいて１は前部左右両側の前車輪３，３と後部左右両側
の後車輪４，４にて支持された走行機体で、この走行機
体１の後部には、苗載台５と複数の植付機構６とから成
る多条植え式の苗植装置７が、リンク機構８を介して上
下昇降可能に装着されている。

走行機体ｌの上面に搭載したエンジン９の動力は、クラ
ッチ１０及びミッションケース１１を介して前後両車軸
３，４に伝達する一方、このミッションケース１１から
突出するＰＴＯ軸１２を介して前記苗植装置７に動力伝
達する。なお、符号１３はクラッチ１０のＯＮ・ＯＦＦ
用アクチエータ、１４は走行変速用アクチエータ、１５
はＰＴＯ軸変軸周速用アクチエータる。

前記走行機体１における操縦座席１６の前方に設けたハ
ンドル１７を介してステアリング機構１８を回動操作し
、前車輪３．３の向きを左右に変えるように構成してあ
り、自動操舵装置は前記ステアリング機構１８における
回動支点軸１９に水平回動自在に装着された平面視り字
型のステアリングアーム２０、該ステアリングアーム２
０に連結する左右一対のタイロフド２１，２１、油圧シ
リンダ２２、手動操舵用の制御弁２３ならびに該操舵制
御弁２３を操作するステアリングギアボックス２４の前
後揺動自在なピットマンアーム２５から成る。

前記ステアリングアーム２０には、前記制御弁２３を球
関節を介して後向きに連結する一方、該制御弁２３の後
端のスプールと前記ピットマンアーム２５とを連結する
。

また、走行機体１に前端を回動自在に連結する油圧シリ
ンダ２２の後端を前記ステアリングアーム２０に回動自
在に連結してあり、前記ハンドル１７の回動角度に対応
して揺動するピントマンアーム２５により、制御弁２３
のスプールを進退動させて、エンジン９により駆動され
る油圧ポンプ２６からの油圧を送り、油圧シリンダ２２
におけるピストンロンドを出没動させ、ステアリングア
ーム２０の回動に応じて、左右両前車輪３，３の向きを
変える。

この油圧シリンダ２２は、電磁ソレノイド式の自動操舵
制御弁２７によっても駆動され、その際前輪３の舵取り
角度は、回動支点軸１９に取付くポテンショメータ２８
にてステアリングアーム２０の回動角度を検出すること
により読み取ることができる。

そして、前記自動操舵制御弁２７は、自動操舵・走行用
の中央制御装置３０にて駆動される操舵コントローラ３
１の出力信号により作動し、また、前記クラッチ１０の
ＯＮ・ＯＦＦ用アクチエータ１３、走行変速用アクチエ
ータ１４、ＰＴＯ軸変軸周速用アクチエータ１５央制御
装置３０にて駆動される走行コントローラ３２にて作動
する。

作物列を撮像する撮像手段３４にて得られた撮像画面４
２から画像情報のデータを得る画像処理装置３３は、前
記撮像画面４２の画像データ２値化等の特徴を抽出する
特徴抽出手段３５及びこの特徴抽出手段３５による特徴
を処理して仮想直線を算出し、この仮想直線の基準線に
対する偏角や横ずれ偏差を演算する演算回路３６、及び
前記撮像手段３４による撮像画面４０中のうち所定の範
囲のみ画像処理するためのウィンドウ設定器３７とを有
する。

なお、このように画像処理範囲を限定し、撮像画面のう
ち所定の画像データ範囲のみ画像処理することをウィン
ドウ処理といい、限定された画像データ範囲をウィンド
ウ領域という。ウィンドウ設定器３７では、前記ウィン
ドウ領域の大きさと位置及び形状を変更するように切換
えすることができるものである。

撮像手段３４は、対象を検出するに際して、いわゆるビ
デオカメラのごとく撮像画面４０がＸｙ平面のように縦
横の拡がりを持つ二次元的な平面を有するいわるエリア
センサーであり、例えば、二次元ＭＯ３７最像素子や二
次元ＣＣＤ撮像素子を内臓したものでは、レンズ系を通
して結ばれた像は、その結像面に二次元的アレイ状に配
列された各撮像素子（光電素子）にて感知されて撮像画
面４０の情報を電気信号として出力できるものである。

またこれらの撮像手段３４はカラー用、白黒用のいずれ
であっても良いが、カラー用とすることにより、圃場面
と作物列とを区別してその特徴を明確に認識することが
できる。

この撮像手段３４はその撮像画面４０の左右中心線Ｙ（
第４図に示す）を走行機体ｌの側方における進行方向と
並行状になるように、且つ前向き斜め下向きにセットす
る。

これにより、撮像手段３４の光軸と圃場面とが交差する
点Ｑが基準点となり、基準点Ｑから前記Ｙ軸に直角な方
向の軸をＸ軸とする。

まず、農作業機にて田植え作業を始めるにあたって、最
初に作業者がハンドルをもって農作業機を運転し、苗植
付けにて基準の作物列を作成する。

次いで、その基準作物列の側方に沿って再度作業者がハ
ンドル１７を操作して農作業を実行する時、撮像手段３
４にて前記作物列を検出する。

この操舵時に前記基準の作物列を撮像すると、第４図の
ように、撮像画面４０に１列状に植付は作物箇所（ＮＡ
Ｅ）が撮像される。この場合、前記Ｙ軸に略沿うように
作物列りが位置するようにセントする。

次いで、前記撮像手段３４による画像情報から、植付は
作物個所（ＮＡＥ）を他の圃場面から抽出区別する２値
化処理を行う。

なお、本実施例において、撮像手段３４をカラー用とす
るときには、ＲＧＢ表色系〔赤色（Ｒ）。

緑色（Ｇ）、青色（Ｂ）の色光を原色光とし、加光によ
り白が得られる〕による赤色成分、緑色成分、青色成分
との各色成分の信号にて圃場面の特徴を抽出し、この三
色成分の信号出力の総和（Ｒ＋Ｇ＋Ｂ＝１）に対する緑
色（Ｇ）成分の信号出力比率が所定の値以上のときを苗
（作物）と判別してその領域（Ｎ）を撮像画面４０の他
の箇所から分割（Ｓｅｇｍｅｎｔａｔｉｏｎ）　Ｌ／て
特定する２値化処理を実行する。

また、色線分のうち緑色成分から青色成分を弓いた色差
画像データ（Ｇ−Ｂ）が一定以上の出力である箇所を苗
と判別する色差処理による２値化を実行しても良い。

前記撮像手段３４の画像情報を２値化して得られた複数
の植付は作物個所の領域が撮像画面４０上に同時に写る
から、２値化された各植付は作物個所の位置の座標を決
定する計算を実行した後に、このデータから前記各領域
に最も近い直線近似としての仮想線ＫＮを計算し、該仮
想線Ｋｌの撮像画面４０上の基準軸ＹやＸ軸、及び基準
点Ｑに対する偏角θと横ずれ偏差ρとを計算する。

この仮想線に７！の計算は画像処理装置３３に予め組み
込まれたソフトによる計算手法で、例えば良く知られた
ハフ（ＨＯＵＧＩ＋）変換法等によるものであり、ハフ
変換では、Ｘ−Ｙ直交座標系のある一点（Ｘｉ、Ｙｉ　
）が与えられたとき、それを通る総ての線分群はρ−θ
極座標系では、 ｐ　＝ｘｉｃｏｓ　θ＋Ｙｉｓｉｎ　θで表現できる。

従って、撮像画面４０における前記各領域ごとにその線
分群を極座標系 （ρ−Ｘｉｃｏｓ　θ＋Ｙｉｓｉｎθ）で表現するハフ
処理を実行し、同一のρ及びθを取る頻度を二次元ヒス
トグラムとして計数し、その最大値となるρＯ及びθ０
を求めて、作物列の仮想直線にβを特定するものである
。

そして、前記撮像画面４０における基準点Ｑから延長し
、且つ前記求められた仮想直線ＫＡと直交する線分を考
えて、その線分の長さを横ずれ偏差ρとし、前記基準点
Ｑで交差する線分とＸ軸との交わる角度を偏角θと定義
する（第５図参照）。

なお、この場合、撮像画面４０において、仮想直線Ｋｌ
が基準軸Ｙより右にあるときにはρ〉０であり、左にあ
るときにはρく０とし、また、撮像画面４０におけるＸ
軸（正側）を基準にして偏角θを、＋π／２≧θ≧０．
−π／２≧θ≧０の範囲で演算するので、第５図に示す
ように、第１象限ではρ〉０、且つθ〉０、第２象限で
はρく０、且つθく０となり、第３象限ではρ〈０、且
つθ〉０、第４象限ではρ＞Ｑ、且つθ〈０となる。

この仮想直線は、走行機体ｌが適宜距離前進するごとま
たは適宜時間間隔ごとに計算されるものであり、この仮
想直線に７！の演算に基づき、操舵角度等を決定し、操
舵コントローラ３１に指令を出して操舵制御を実行する
。

他方、前記ウィンドウ設定器３７では、前記適宜時間間
隔ごと等に演算された仮想直線ＫＡの横ずれ偏差ρ及び
偏角θの大きさを記憶し、第６図に示す切換えスイッチ
マツプ上の５つのスイッチ区域のいずれに該当するかを
判別する。

前記第６図に示す切換えスイッチマツプ上で、＋ρｔｈ
、−ρｔｈ、＋θｔｈ〜、θｔｈは各々５つのスイッチ
区域を設定するためのしきい値であり、スイッチ区域が
スイッチＳＷＯであるときには、十ρｔｈ≧ρ≧−ρｔ
ｈ、＋θｔｈ≧θ≧−θｔｈである正方形の区域であり
、同様にスイッチｓｗｉ、スイッチＳＷ２．スイッチＳ
Ｗ３．スイッチＳＷ４は第６図に示すごとくに設定する
。

このようにして、ウィンドウ設定器３７では、前回の仮
想直線の演算にて得られた横ずれ偏差ρ及び偏角θの値
から前記いずれかのスイッチ区域であるかを決定し、こ
の各スイッチ区域に対応して、画像情報を処理する画像
データ範囲を撮像画面全体ではなく、その一部のみに限
定するのであり、その切換え設定された画像データ範囲
（ウィンドウ領域）を第７図及び第８図に示す。

スイッチＳＷＯのスイッチ区域に対応するウィンドウ領
域は、第７図における４Ｉｆｌｉｌ所の「０」で囲まれ
た上辺が下辺に比べて短い台形であって、基弔軸Ｙを挟
んで左右対称状に位置するような画像データ範囲である
。

このように設定するのは、スイッチＳＷＯのスイッチ区
域においては、前記適宜時間間隔ごと等に演算されたう
ちの前回の仮想直線に！の横ずれ偏差ρ及び偏角θの大
きさが両者とも小さい値（正負いずれでも良い）であり
、換言すれば、仮想直線に７！が基準軸Ｙに接近し、且
つ該基準軸Ｙに略平行な状態であって、走行機体１は基
準作物列の側方において略平行状に走行している制御が
実現されているのであるから、画像処理すべき画像デー
タ範囲も、前記基準軸Ｙを挟む左右対称形状で、且つ進
行方向前側となる撮像画面４０での上辺は短いもので良
いことになる。

そして、撮像手段３４が走行機体の進行方向の前方圃場
を斜め上から撮像しているので、撮像手段３４から遠い
部分は狭い視界中に入れることができ、なお、この場合
に、基準作物列より右側で走行機体１が＋’＋ｉ７進し
、従って、走行機体ｌの左側に備えられた１最像手段３
４にて基準作物列を撮像しているものとすると、基準作
物列より左側の余分な作物列を撮像しないようにするこ
とができるのである。

同様にスイッチＳＷＩのスイッチ区域では、第５図及び
第６図から理解できるように、仮想直線に１は、基準軸
Ｙに近い位置（ρが正負いずれの場合でも小さい）で、
偏角θが正で大きいもの、又は基準軸Ｙから左側に大き
く離れ（ρが負で大きい）且つ基準軸Ｙに略平行（θが
正負いずれも０に近い）なもの、又は基準軸Ｙから左側
に大きく離れ（ρが負で大きい）且つ偏角θが正で大き
いものの場合に該当するので、これらの仮想直線Ｋｊ？
が撮像画面４０中の基準軸Ｙの左側に偏った位置にある
範囲で長く入るように、第７図の４１囚所のｒｌＪで囲
まれた上辺が下辺に比べて短い台形のウィンドウ領域に
するのである。

さらに、ρ及びθ共に負で大きい値を取るというスイッ
チＳＷ３のスイッチ区域に対応するウィンドウ領域は、
４ｆｆｌｉｔ所の「３」で囲まれた下辺が上辺に比べて
短い台形が基準軸Ｙの左側に偏った位置にある範囲であ
る。

第８図は、スイッチＳＷ２とスイッチＳＷ４のスイッチ
区域に対応するウィンドウ領域で、スイッチＳＷ２は前
記スイッチＳＷＩと左右対称形状であり、スイッチＳＷ
４は前記スイッチＳＷ３と左右対称形状であるように設
定するのである。

このように、演算にて得られた仮想直線に／に基づき操
舵制御を実行しつつ、他方撮像手段３４にてその作物列
を撮像する場合、前回と今回とで同じ作物列が撮像画面
に撮像される範囲は、あまり大きく変換しない。例えば
、前回の演算による仮想直線に／が撮像画面４０の右寄
り部分で上方に行くに従って基準軸Ｙに対しで近付くよ
うな（頃向は、今回（適宜時間間隔ごとの演算）の演算
にて得られた仮想直線１（７！の傾向と大きく異なるこ
とはない。

従って、ウィンドウ領域を撮像画面全体に比べて狭くし
たものでありながら、植付は作物箇所ひいては作物列を
画像処理上にて見失うことがない。

また、適宜時間間隔または走行距離間隔ごとの仮想直線
にρの演算から得られた横ずれ偏差ρ及び偏角θのデー
タ即ち偏位の状態に基づき、ウィンドウ設定器３７にて
どのスイッチ区域にすべきかを判断し、そのスイッチ区
域に応じてウィンドウ領域を決定すれば、そのウィンド
ウ領域内に今回の仮想直線に７！の大部分が入りことに
なるので、このウィンドウ領域内のみ画像処理すれば足
りる。

即ち、撮像画面４０の全範囲よりも小さいウィンドウ領
域のみを画像処理するのでその処理時間が短くできると
共に、１列以上の作物列が入ることがないから、複数列
の作物列のうちの基準列を判別する必要がないので画像
処理演算時間を短くできるのである。

このような画像処理の後、中央制御装置３０において前
記横ずれ偏差ρ及び偏角θをもとに、所定の制御アルゴ
リズム（制御規則）に従って操舵Ｆ斤示９を算出し、操
舵コントローラ３１における自動操舵制御弁２７の電磁
ソレノイドを作動させ、油圧シリンダ２２を駆動し、ス
テアリングアーム２０の回動角度を変えて修正操舵し、
所定の作物列の側方にて所定の距離隔てて略平行状に走
行することができるのである。

【図面の簡単な説明】

第１図から第８図までは本発明の実施例を示し、第１図
は田植機の平面図、第２図は側面図、第３図は操舵・走
行自動制御装置のブロック図と油圧回路を含む作用説明
図、第４図は撮像画面の図、第５図は仮想直線に６にお
けるρ及びθの負号の関係を示す図、第６図はスイッチ
区域を示す図、第７図及び第８図は各々ウィンドウ領域
を示す図、第９図は従来の撮像画面の図である。 １・・・・走行機体、３，４・・・・車輪、５・・・・
苗載台、６・・・・植付機構、７・・・・苗植装置、１
８・・・・ステアリング機構、２７・・・・自動操舵制
御弁、３０・・・・中央制御装置、３１・・・・操舵コ
ンｌ−ローラ、３３・・・・画像処理装置、３４・・・
・撮像手段、３５・・・・特徴抽出手段、３６・・・・
演算回路、３７・・・・ウィンドウ設定器、４０・・・
・撮像画面。

Claims (1)

【特許請求の範囲】
1. （１）、撮像手段にて農作業機の進行方向に沿って植立
   した１列の作物列を斜め上方から撮像し、その画像情報
   から農作業機の直進等の基準に対する前記作物列の仮想
   直線及び撮像画面の基準に対する仮想直線の偏差を演算
   する演算手段と、前記仮想線の偏差から所定の操舵規則
   に従って自動操舵する手段とにより、圃場内に植付けら
   れた作物列に沿ってその側方で略並行状に走行するよう
   に田植機等の農作業機を自動操舵制御する装置において
   、前記演算手段にて前記仮想直線の偏差の演算を適宜時
   間間隔ごとに実行する一方、前記画像情報を処理する画
   像データ範囲を撮像画面の全範囲のうちの一部に限定し
   、且つその限定範囲を、前回の仮想直線の偏位の状態に
   応じて切換えるウィンドウ設定器を設けたことを特徴と
   する農作業機の自動操舵制御装置における画像処理装置
   。