JPH04336383A - 作業機用の作物列検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、列状に並ぶ複数個の作
物を含む所定範囲の圃場面を、機体進行方向斜め前方下
向きに撮像する撮像手段と、その撮像手段による撮像画
像情報に基づいて、前記作物に対応する画素領域を抽出
する画素領域抽出手段と、この画素領域抽出手段によっ
て抽出された画素領域情報に基づいて、前記画素領域の
代表点を抽出する代表点抽出手段と、前記代表点抽出手
段によって抽出された代表点を結ぶ線分を直線近似する
直線近似手段とが設けられている作業機用の作物列検出
装置に関する。

【０００２】

【従来の技術】従来、この種の作業機用の作物列検出装
置においては、前記作物に対応して抽出された画素領域
情報に基づいて、各画素領域の代表点を抽出する場合、
その画素領域の重心位置を検出して代表点としていた。 そして、得られた代表点を結ぶ直線を、作物列の未植え
側と既植え側の境界線に対応する線分と判定していた。

【０００３】

【発明が解決しようとする課題】ところが、上記従来の
装置では、撮像手段の作物を撮像する方向が、機体進行
方向斜め前方下向きである為に、前記画素領域の重心位
置は作物の株元位置と一致しておらず、また、機体に近
い位置にある作物と遠い位置にある作物とでは、前記重
心位置と株元位置との距離のずれも異なり、結局、作物
の植え付け位置を正確に検出することができなかった。 更に、作物が傾いたり、あるいは倒れている場合等には
、前記検出の精度はより悪いものになっていた。従って
、単に重心位置を代表点として結ぶ方法では、作物列に
対応する線分を正しく求められない虞があった。

【０００４】本発明は、上記実情に鑑みてなされたもの
であって、その目的は、作物迄の距離やその植え付け状
態による影響を受けずに、作物の植え付け位置を確実に
識別して、未植え側と既植え側の境界線を精度良く検出
できる作業機用の作物列検出装置を提供することにある
。

【０００５】

【課題を解決するための手段】本発明の作物列検出装置
の第一の特徴構成は、前記代表点抽出手段が、前記画素
領域を構成する画素のうち、機体進行方向に沿う画面座
標軸方向で、前記作物の株元側に最も近く位置する画素
を、前記代表点とするように構成されている点にある。

【０００６】また第二の特徴構成は、前記画素領域の主
軸方向を検出する主軸方向検出手段が設けられており、
前記主軸方向のうちの長軸方向と、機体進行方向に沿う
画面座標軸とのなす角度が、所定の範囲から外れている
時には、前記代表点抽出手段が前記代表点を抽出しない
ように構成されている点にある。

【０００７】また第三の特徴構成は、前記代表点抽出手
段が、前記作物の株元側に最も近く位置する画素を複数
個抽出した場合には、これら複数個の各画素を通り、前
記機体進行方向に沿う画面座標軸に平行な方向で、前記
画素領域の画素数が多い方の画素を、前記代表点とする
ように構成されている点にある。

【０００８】

【作用】第一の特徴構成によれば、撮像手段が列状に並
ぶ複数個の作物を含む所定範囲の圃場面を機体進行方向
斜め前方下向きに撮像した撮像画像情報に基づいて、画
素抽出手段が前記作物に対応して抽出した画素領域情報
に対し、代表点抽出手段が、前記画素領域を構成する画
素のうち、機体進行方向に沿う画面座標軸方向で、前記
作物の株元側に最も近く位置する画素を前記画素領域の
代表点として抽出し、次に、直線近似手段が、これらの
代表点を結んだ直線を、作物列の未植え側と既植え側の
境界線に対応する線分として直線近似する。

【０００９】ここにおいて、作物の株元側に最も近く位
置する画素を代表点として抽出するのであるから、機体
と作物位置との距離の遠近に影響されず、確実に作物の
植え付け位置を代表点として識別出来ることになる。

【００１０】また、第二の特徴構成によれば、撮像手段
が列状に並ぶ複数個の作物を含む所定範囲の圃場面を機
体進行方向斜め前方下向きに撮像した撮像画像情報に基
づいて、画素抽出手段が前記作物に対応して抽出した画
素領域情報に対し、主軸方向検出手段が前記画素領域の
主軸方向を検出し、その主軸方向のうちの長軸方向と機
体進行方向に沿う画面座標軸とのなす角度が、所定の範
囲内である時には、代表点抽出手段が、前記画素領域を
構成する画素のうち、機体進行方向に沿う画面座標軸方
向で、前記作物の株元側に最も近く位置する画素を代表
点として抽出し、一方、前記の角度が所定の範囲外であ
る時には、代表点抽出手段が、代表点の抽出をせず、次
に、直線近似手段が、抽出された代表点を結んだ直線を
、作物列の未植え側と既植え側の境界線に対応する線分
として直線近似する。

【００１１】ここにおいて、作物に対応して抽出された
前記画素領域の長軸方向は、作物の茎方向に対応してい
ると考えられるので、上記長軸方向と機体進行方向に沿
う画面座標軸とのなす角度の判別により、大きく傾いた
り、あるいは倒れている作物が検出対象から除外出来る
ことになる。

【００１２】また、第三の特徴構成によれば、撮像手段
が列状に並ぶ複数個の作物を含む所定範囲の圃場面を機
体進行方向斜め前方下向きに撮像した撮像画像情報に基
づいて、画素抽出手段が前記作物に対応して抽出した画
素領域情報に対し、代表点抽出手段が、前記画素領域を
構成する画素のうち、機体進行方向に沿う画面座標軸方
向で、前記作物の株元側に最も近く位置する画素を複数
個抽出した場合には、これら複数個の各画素を通り、前
記機体進行方向に沿う画面座標軸に平行な方向で、前記
画素領域の画素数が多い方の画素を、代表点として抽出
し、次に、直線近似手段が、これらの代表点を結んだ直
線を、作物列の未植え側と既植え側の境界線に対応する
線分として直線近似する。

【００１３】ここにおいて、上記画素領域の画素数が多
い方向は、作物の茎方向に対応していると考えられるの
で、上記画素領域の画素数が多い方の株元側に最も近く
位置する画素を、代表点として抽出することで、より正
確に作物の植え付け位置を識別出来ることになる。

【００１４】

【発明の効果】従って、作物迄の距離やその植え付け状
態による影響を受けずに、作物の植え付け位置を確実に
識別して、未植え側と既植え側の境界線を精度良く検出
できる作業機用の作物列検出装置を提供することができ
、ひいては、作物植えつけ機等の作業機の操向制御を安
定に行えるものとなる。

【００１５】

【実施例】以下、本発明を作物植え付け機としての田植
え機に適用し、圃場に植え付けられた苗列の位置を検出
する装置の実施例を図面に基づいて説明する。

【００１６】図７及び図８に示すように、前輪１Ｆ及び
後輪１Ｒの何れをもステアリング操作自在に構成された
機体Ｖの後方に、苗植え付け装置２が昇降自在に設けら
れ、その苗植え付け装置２にて植え付けられた列状に並
ぶ複数個の作物としての複数個の既植苗Ｔを含む所定範
囲の圃場面を撮像する撮像手段としてのカラー式のイメ
ージセンサＳが、前記機体Ｖの前方側に設けられている
。

【００１７】前記イメージセンサＳの取り付け構造につ
いて説明すれば、前記機体Ｖの横外側方に向かって突出
された支持部材４の先端部に、前記機体Ｖに対して機体
横外側方に隣接する既植苗列を機体進行方向に向かって
斜め上方から撮像するように設けられている。つまり、
前記機体Ｖが機体進行方向に沿って並ぶ複数個の既植苗
Ｔの列に対して適正に沿っている状態において、その既
植苗列に対応する線分Ｌが、前記イメージセンサＳの撮
像視野の中央を前後方向に通る走行基準線Ｌａに一致す
るようにしてある。又、前記イメージセンサＳは、機体
Ｖの左右夫々に各一個が設けられ、使用する側のセンサ
を左右切り換え可能になっている。

【００１８】前記機体Ｖの制御構成について説明すれば
、図１に示すように、エンジンＥの出力が変速装置５を
介して前記前輪１Ｆ及び前記後輪１Ｒの夫々に伝達され
、前記変速装置５による変速操作状態が予め設定された
設定走行速度に対応する操作状態となるように、変速状
態検出用ポテンショメータＲ３　が設けられ、そして、
その変速状態検出用ポテンショメータＲ３　の検出情報
に基づいて、変速用電動モータ６を駆動するように構成
されている。又、前記前輪１Ｆ及び前記後輪１Ｒは、夫
々油圧シリンダ７Ｆ，７Ｒによって各別にパワーステア
リング操作されるように構成され、車輪のステアリング
操作に連動するステアリング角検出用ポテンショメータ
Ｒ１，Ｒ２　による検出ステアリング角が目標ステアリ
ング角となるように、前記油圧シリンダ７Ｆ，７Ｒを作
動させる電磁操作式の制御弁８Ｆ，８Ｒを駆動するよう
に構成されている。

【００１９】次に、前記イメージセンサＳの撮像情報に
基づいて、前記既植苗列に対応する線分を直線近似する
情報を得るための制御構成について説明する。図１に示
すように、前記イメージセンサＳは、三原色情報Ｒ，Ｇ
，Ｂを各別に出力するように構成され、そして、苗Ｔの
色成分を含む緑色情報Ｇから苗Ｔの色成分を含まない青
色情報Ｂを減算して２値化することにより、前記苗Ｔに
対応する画素領域Ｔａを抽出するように構成されている
。説明を加えれば、前記緑色情報Ｇから前記青色情報Ｂ
をアナログ信号の状態で減算する減算器９、その減算器
９の出力を前記苗Ｔの色に対応して予め設定された設定
閾値に基づいて２値化して前記画素領域Ｔａ　に対応す
る２値化情報を出力するコンパレータ１０、そのコンパ
レータ１０の出力信号を予め設定された画素密度（３２
×３２画素／１画面に設定してある）に対応した画像情
報として記憶する画像メモリ１１、及び、この画像メモ
リ１１に記憶された情報に基づいて前記画素領域Ｔａ　
を結ぶ線分を直線近似する情報を求めると共に、その情
報に基づいて走行制御するマイクロコンピュータ利用の
制御装置１２の夫々が設けられている。

【００２０】つまり、前記減算器９及び前記コンパレー
タ１０が、前記苗Ｔに対応する前記画素領域Ｔａ　を抽
出する画素領域抽出手段１００に対応することになり、
そして、前記制御装置１２を利用して、前記画素領域Ｔ
ａ　を結ぶ線分Ｌを直線近似する情報を求める直線近似
手段１０１、及び、前記画素領域Ｔａ　の画像上におけ
る位置を代表する点の位置情報を求める代表点抽出手段
１０２の夫々が構成されることになる。

【００２１】次に、図２に示すフローチャートに基づい
て、前記制御装置１２の動作を説明しながら、各部の構
成について詳述すれば、前記機体Ｖが設定距離を走行す
る毎、又は、設定時間毎に、前記イメージセンサＳによ
る撮像処理が実行され、この後、前記画素領域抽出手段
１００によって前記苗Ｔに対応する前記画素領域Ｔａが
抽出されることになる（図３参照）。尚、図３中にある
画素Ｔａ　は、前記苗Ｔの既植え部分Ｍと未植え部分Ｎ
との境界に位置する画素を示す。

【００２２】ここで、前記画素領域抽出手段１００の動
作について説明を加えれば、イメージセンサＳから出力
される三原色情報のうちの緑色成分Ｇと青色成分Ｂとの
強度について、苗Ｔが存在する部分、泥面に対応する部
分、自然光を反射する水面部分夫々に対して考察すると
、苗Ｔが存在する部分では、緑色成分Ｇの強度が大で、
且つ、青色成分Ｂの強度が小となる。又、泥面に対応す
る部分では、緑色成分Ｇ及び青色成分Ｂのいずれの強度
も小となる。さらに、水面部分では、緑色成分Ｇ及び青
色成分Ｂのいずれの強度も大となる。そこで、緑色信号
Ｇから前記青色信号Ｂを減算した信号レベルの大きさに
より、水面で反射される自然光の影響並びに前記泥面に
対応する画像情報を除去するのである。つまり、前記緑
色信号Ｇから前記青色信号Ｂを減算した画像信号のレベ
ルが設定閾値以上のレベルとなる部分を抽出して２値化
することにより、前記苗Ｔのみに対応した画素を抽出す
るのである。

【００２３】次に、前記画像メモリ１１の記憶情報に基
づいて、前記複数個の苗Ｔに対応する画素領域Ｔａ　の
夫々において、機体進行方向に沿う画面座標軸であるｙ
軸方向で、前記苗Ｔの株元Ｔｋ側（撮像画面において下
方側になる）に最も近く位置する画素を前記各画素領域
Ｔａ　の代表点Ｐとして抽出する（図３（イ），（ロ）
参照）　。つまり、この各画素領域Ｔａ　での上記代表
点Ｐを求める処理が、代表点抽出手段１０２に対応する
ことになる。そして、画面上の画素領域Ｔａ　全てにつ
いて、代表点抽出処理が終了したら、これらの代表点Ｐ
同士を結ぶ線分を直線近似手段１０１で求めることにな
る。ここでは、ハフ変換処理によって求める方法を示す
。

【００２４】ハフ変換について説明すれば、図６に示す
ように、前記イメージセンサＳの撮像視野中心（ｘ＝１
６，ｙ＝１６）を通るｘ軸を極座標系における基準線と
して、前記各代表点Ｐを通る複数本の直線Ｌｎを、前記
ｘ軸に対して０〜１８０度の範囲において予め複数段階
に設定された傾きθと、原点つまり前記撮像視野中心か
らの距離ρとの組み合わせ（これを直線パラメータと呼
ぶ）として、下式のように求めることになる。 ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ

【００２５】そして、前記代表点Ｐの全てについて、前
記複数段階に設定された傾きθの値が１８０度に達する
まで、前記直線パラメータ（ρ，θ）の頻度を計数する
ための二次元ヒストグラムを加算する処理を繰り返す。 そして、全代表点Ｐに対する直線Ｌｎの頻度の計数が完
了すると、前記二次元ヒストグラムに加算された値から
、最大頻度となる傾きθと距離ρの組み合わせに対応し
て一つ直線Ｌを決定し、その直線Ｌを前記イメージセン
サＳの撮像画面において前記苗Ｔの未植え部分Ｎと既植
え部分Ｍの境界線に対応する線分Ｌの直線近似した情報
として求める。

【００２６】そして、前記機体Ｖが適正状態で走行して
いる場合には、前記線分Ｌが、画面中央の走行基準線Ｌ
ａに一致する状態となるなるように撮像視野が設定され
ていることから、機体Ｖの機体横幅方向の位置ずれ量は
、前記線分Ｌと走行基準線Ｌａの画面中央での位置ずれ
量βに対応することになり、また、前記線分Ｌのｙ軸と
のなす角度αが、機体の進行方向のずれに対応する（図
３（ハ）参照）。従って、上記ずれ量β及び角度αが、
共に零となるように操向制御することにより、前記機体
Ｖを適正に自動走行させることができるのである。

【００２７】〔別実施例〕次に、前記制御装置１２の動
作構成についての別実施例を、図４に基づいて説明する
。この場合、イメージセンサＳによる撮像処理から苗Ｔ
に対応する画素領域Ｔａ　の抽出動作までは、前記の動
作構成例と同じ構成である。この後、前記苗Ｔの株元Ｔ
ｋ側に最も近く位置する画素を前記各画素領域Ｔａ　の
代表点Ｐとして抽出する前に、前記制御装置１２内に構
成されている主軸方向検出手段１０３によって前記各画
素領域Ｔａの主軸方向を検出し、この主軸方向のうちの
長軸方向と機体進行方向に沿う画面座標軸であるｙ軸と
のなす角度γが、所定の範囲（例えば、４５度以下）に
入っているかどうかを判別し、所定の範囲から外れてい
る画素領域Ｔａ１　については、苗Ｔが正常に植えられ
ていないと判断して代表点Ｐを抽出しないのである（図
５（イ）（ロ））。

【００２８】そして、前記代表点抽出手段１０２により
、前記角度γが前記所定の範囲に入っている画素領域Ｔ
ａ　全てについて、機体進行方向に沿う画面座標軸であ
るｙ軸方向で、前記苗Ｔの株元Ｔｋ側（撮像画面におい
ては下方側になる）に最も近く位置する画素を前記各画
素領域Ｔａ　の代表点Ｐとして抽出する（図５（ロ））
　。 代表点抽出処理が終了したら、これらの代表点Ｐ同士を
結ぶ線分を直線近似手段１０１で求めることになる。

【００２９】次に、前記制御装置１２の動作構成につい
ての他の別実施例を、図９に基づいて説明する。この場
合、イメージセンサＳによる撮像処理から苗Ｔに対応す
る画素領域Ｔａ　の抽出動作までは、前記の動作構成例
と同じ構成である。この後、前記代表点抽出手段１０２
により、前記苗Ｔの株元Ｔｋ側に最も近く位置する画素
を前記各画素領域Ｔａ　の代表点Ｐとして抽出するので
あるが、ここで、上記株元Ｔｋ側に最も近く位置する画
素の個数が１個であれば、前記動作構成と同じになる（
図２参照）。一方、２個以上の画素が抽出された場合に
は、これら複数個の各画素を通り、前記機体進行方向に
沿う画面座標軸ｙ軸に平行な方向で、前記画素領域Ｔａ
の画素数が多い方の画素を、前記代表点Ｐとするのであ
る（図１０（イ）、（ロ））。図に基づいて具体的に述
べると、図１０（ロ）中の３個の画素領域Ｔａでは、前
記株元Ｔｋ側に最も近く位置する画素の個数は、画面上
部の画素領域Ｔａ２　は２個であり、画面中央の画素領
域Ｔａ３　は３個であり、画面下部の画素領域Ｔａは１
個である。そして、上記画面上部の画素領域Ｔａ２　に
おいては、画面座標軸ｙ軸に平行な方向の画素数は画面
左側の画素を通る方が多いので、画面左側の画素を代表
点Ｐとして選定する。また、画面中央の画素領域Ｔａ３
においては、画面座標軸ｙ軸に平行な方向の画素数は画
面左右方向の真ん中の画素を通る方が多いので、画面左
右方向の真ん中の画素を代表点Ｐとして選定する。画面
下部の画素領域Ｔａについては、上記処理は不要である
。そして、上記代表点抽出処理が終了したら、これらの
代表点Ｐ同士を結ぶ線分を直線近似手段１０１で求める
ことになる。

【００３０】又、上記実施例では、緑色情報Ｇから青色
情報Ｂを減算して設定閾値に基づいて２値化することに
より、苗Ｔに対応する画素領域Ｔａ　を抽出するように
構成した場合を例示したが、例えば、三原色情報Ｒ，Ｇ
，Ｂの全部を用いて、それらの比が苗Ｔの色に対応する
設定比率範囲となる領域を画素領域Ｔａ　として抽出す
るようにしてもよく、画素領域抽出手段１００の具体構
成は、各種変更できる。

【００３１】又、上記実施例では、ハフ変換を利用して
各画素領域Ｔａ　の代表点Ｐを結ぶ線分Ｌを直線近似す
る場合を例示したが、例えば、最小二乗法等を用いて直
線近似して求めることもできるものであって、直線近似
手段１０１の具体構成は、各種変更できる。

【００３２】又、上記実施例では、本発明を田植え機を
圃場に植え付けられた苗列に沿って自動走行させるため
の装置に適用し、そして、検出された作物列に対応する
近似直線の情報を、操向制御のための制御情報として利
用するように構成した場合を例示したが、本発明は各種
の作物列に対応する近似直線の情報を検出するための装
置に適用できるものであって、作物の種類や機体の走行
系の構成等、各部の具体構成、並びに、検出された作物
列に対応する近似直線の情報の利用形態は、各種変更で
きる。

【００３３】尚、特許請求の範囲の項に図面との対照を
便利にするために符号を記すが、該記入により本発明は
添付図面の構成に限定されるものではない。

【図面の簡単な説明】

【図１】制御構成のブロック図

【図２】作物列検出のフローチャート

【図３】画面上の作物列検出処理の説明図

【図４】別実
施例の作物列検出のフローチャート

【図５】別実施例の
画面上の作物列検出処理の説明図

【図６】ハフ変換処理
の説明図

【図７】作物植え付け機の概略平面図

【図８】同正面図

【図９】他の別実施例の作物列検出のフローチャート

【
図１０】他の別実施例の画面上の作物列検出処理の説明
図

【符号の説明】

１００　　画素領域抽出手段 １０１　　直線近似手段 １０２　　代表点抽出手段 １０３　　主軸方向検出手段 Ｌ　　　　　　線分 Ｐ　　　　　　代表点 Ｓ　　　　　　撮像手段 Ｔ　　　　　　作物 Ｔａ　　　　　画素領域 Ｔｋ　　　　株元

Claims (3)

【特許請求の範囲】
1. 【請求項１】　　列状に並ぶ複数個の作物（Ｔ）を含む
   所定範囲の圃場面を、機体進行方向斜め前方下向きに撮
   像する撮像手段（Ｓ）と、その撮像手段（Ｓ）による撮
   像画像情報に基づいて、前記作物（Ｔ）に対応する画素
   領域（Ｔａ）を抽出する画素領域抽出手段（１００）と
   、この画素領域抽出手段（１００）によって抽出された
   画素領域情報に基づいて、前記画素領域（Ｔａ）の代表
   点（Ｐ）を抽出する代表点抽出手段（１０２）と、前記
   代表点抽出手段（１０２）によって抽出された代表点（
   Ｐ）を結ぶ線分（Ｌ）を直線近似する直線近似手段（１
   ０１）とが設けられている作業機用の作物列検出装置で
   あって、前記代表点抽出手段（１０２）が、前記画素領
   域（Ｔａ）を構成する画素のうち、機体進行方向に沿う
   画面座標軸方向で、前記作物（Ｔ）の株元（Ｔｋ）側に
   最も近く位置する画素を、前記代表点（Ｐ）とするよう
   に構成されている作業機用の作物列検出装置。
2. 【請求項２】　　請求項１記載の作業機用の作物列検出
   装置であって、前記画素領域（Ｔａ）の主軸方向を検出
   する主軸方向検出手段（１０３）が設けられており、前
   記主軸方向のうちの長軸方向と、機体進行方向に沿う画
   面座標軸とのなす角度が、所定の範囲から外れている時
   には、前記代表点抽出手段（１０２）が前記代表点（Ｐ
   ）を抽出しないように構成されている作業機用の作物列
   検出装置。
3. 【請求項３】　　請求項１又は２記載の作業機用の作物
   列検出装置であって、前記代表点抽出手段（１０２）が
   、前記作物（Ｔ）の株元（Ｔｋ）側に最も近く位置する
   画素を複数個抽出した場合には、これら複数個の各画素
   を通り、前記機体進行方向に沿う画面座標軸に平行な方
   向で、前記画素領域（Ｔａ）の画素数が多い方の画素を
   、前記代表点（Ｐ）とするように構成されている作業機
   用の作物列検出装置。