JPH0460242B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、機体進行方向前方側の所定範囲の作
業地状態を撮像する撮像手段による撮像画像情報
に基づいて、未処理作業地と処理済作業地との境
界を検出する自動走行作業車用の境界検出装置に
関する。

〔従来の技術〕

上記この種の自動走行作業車、例えば、芝刈作
業車や刈取収穫機等の作業車においては、作業予
定範囲の外周を予め人為的に処理済作業地として
処理し、この処理済作業地で囲まれた内部の未処
理作業地部分を、未処理作業地と処理済作業地と
の境界に沿つて作業を行いながら走行し、未処理
作業地の一端より他端に至る一つの行程を走行
後、次行程方向へ回向して所定範囲の作業地を作
業を行いながら自動走行させる制御が行われてい
る。そして、各行程途上においては、機体横幅方
向での未処理作業地と処理済作業地の境界と、機
体との位置関係に基づいて走行を制御し、行程端
部においは機体前後方向での境界と機体との位置
関係に基づいて次行程への回向を制御している。

そして、本出願人は、上記作業地を斜め上方か
ら見ると、未処理作業地は未刈り芝が有るために
暗く見え、処理済作業地は刈り取られた芝により
光が反射して明るく見えるという現象に着目し
て、未処理作業他と処理済作業地との境界を、実
際に走行することなく、かつ、その形状をも検出
可能な境界検出手段として、機体進行方向前方側
の作業地の所定範囲を撮像し、撮像画像を微分処
理することにより画像のエツジを抽出し、更にそ
の明度差に基づいて２値化することにより、機体
前方の境界と現在の機体との位置関係を検出する
手段を先に提案した。（特願昭60−211637号参照） 〔発明が解決しようとする問題点〕 しかしながら、上記境界検出装置においては、
撮像画像情報をデジタル化して処理することか
ら、一画面分の撮像画像情報を所定画素数に標本
化することとなる。そして、局所的な明暗変化を
除去するために、上記微分処理を行う前に、撮像
画像を平均化する必要がある。

ところが、第４図及び第５図に示すように、作
業地を斜め上方から撮像するために、その撮像視
野Ｓが、車体に対して近傍側より遠方側に広がつ
た台形となる。従つて、その撮像画像を正方画素
に標本化すると、その各画素当りの像の密度が車
体近傍側より遠方側のほうが細かくなるという特
性がある。尚、この車体近傍側は、撮像画像情報
の座標系では下方側に、同様に遠方側は、上方側
に、夫々置換されるものである。又、図中、３は
撮像手段としてのビデオカメラである。

従つて、この粗密変化が一様でない撮像画像情
報をそのまま一様に平均化すると、撮像画像情報
を微分処理する際に、上記局所的な明暗変化がノ
イズ成分として強調され、正確に境界を検出でき
なくなる不都合がある。

そして、上記撮像画像を平均化する手段として
は、撮像画像情報であるビデオ信号の通過帯域を
制限することにより平均化する電気的フイルタを
用いる手段、あるいは、撮像画像情報を演算処理
することにより平均化する手段を用いることが考
えられるが、前者の電気的フイルタを用いる場合
には、その通過帯域を、撮像画像の上下方向つま
り車体前後方向において連続的に変化させる必要
があることから、一般的なフイルタを用いて平均
化することは非常に困難である。

又、後者の演算処理により平均化する手段で
は、その演算が複雑になることから、平均化に要
する処理時間が長くなり、実用的でないという不
利がある。

本発明は、上記実情に鑑みてなされたものであ
つて、その目的は、撮像画像情報を平均化する
に、粗密変化が一様でない撮像画像情報を、簡素
な構成でその撮像視野範囲を一様に平均化できる
ようにすることにある。

〔問題点を解決するための手段〕

本発明による自動走行作業車用の境界検出装置
の特徴は、前記撮像手段に、その撮像視野範囲の
うちの車体前後方向後方側に対応する部分ほどぼ
かし程度を大にする光学フイルタを備えさせてあ
る点にあり、その作用ならびに効果は以下の通り
である。

〔作用〕

すなわち、車体後方側は粗に、前方側ほど密に
見える作業地状態を、その粗密変化に対応して連
続的にぼかす光学フイルタ、例えば、撮像視野の
車体遠方側より近傍側に向かうほどぼかし程度が
大になるように、ガラスや透明樹脂板等の表面に
メツシユ状の傷を付けたもの等の光学フイルタ
を、撮像手段の視野前方に設け、その光学フイル
タ通して撮像することにより、得られた撮像画像
情報は、それ自体で自動的に粗密変化に応じて一
様に平均化されたものとなる。

〔発明の効果〕

従つて、撮像画像情報を、撮像後に平均化する
必要が全く不要になり、作業地状態の撮像にあた
り実質的に処理時間零で平均化した画像情報が直
接得られることとなる。しかも、その平均化処理
は簡素な構成の光学フイルタにて行うことから、
境界検出装置の全体構成を、簡素化できる。

〔実施例〕

以下、本発明を自動走行作業車としての芝刈作
業車に適用した実施例を図面に基づいて説明す
る。

第４図および第５図に示すように、前輪１Ｆお
よび後輪１Ｒの何れをもステアリング操作可能に
構成された機体Ｖの中間部に、芝刈装置２を上下
動自在に懸架するとともに、機体Ｖ進行方向前方
の所定範囲の作業地状態を撮像する撮像手段とし
てのビデオカメラ３を設け、このカメラ３による
撮像画像情報を、後述する境界検出装置Ａにより
２値化して、車体横幅方向並びに車体前後方向
夫々での未処理作業地Ｂと処理済作業地Ｃの境界
L₁，L₂に対する機体Ｖの位置関係を検出し、こ
の境界検出装置Ａによる前記境界L₁，L₂の検出
結果に基づいて、走行制御装置Ｈにより機体Ｖが
前記境界L₁に沿つて自動的に走行するためのス
テアリング操作を行うように、又、一行程終了
後、次行程へ自動的に走行させるためのステアリ
ング操作及び変速操作を行うように構成してあ
る。

前記カメラ３は、機体Ｖ前方上方に向かつて延
設された支持フレーム４の先端部に、機体前方側
の所定範囲の作業地を斜め上方より下方に向かつ
て撮像するように設けてあり、機体Ｖがその横幅
方向での境界L₁に沿つた状態において、この境
界L₁が前記カメラ３の撮像視野の上下方向中央
に位置するようにしてある。

そして、機体Ｖ横幅方向での境界L₁を検出す
る場合は、前記カメラ３の撮像視野下端を基準と
して、前記カメラ３の撮像視野の上下方向中央を
縦断する基準線L₀に対する検出境界L₁位置の偏
差βを機体Ｖ横幅方向での位置ずれ情報とし、前
記カメラ３の撮像視野の上下方向中央を縦断する
基準線L₀に対する検出境界L₁の傾きαを機体Ｖ
向きの偏位情報として検出する。

一方、前記機体Ｖ前後方向での境界L₂を検出
する場合は、詳しくは後述するが、撮像画像情報
を90度座標変換して記憶させるために、前記カメ
ラ３の撮像視野の上下方向中央を縦断する基準線
Ｌに対する偏差βが、機体Ｖと境界L₂との距離
情報となり、前記前記カメラ３の撮像視野の上下
方向中央を縦断する基準線Ｌに対する傾きαが、
前記機体Ｖ前後方向での境界L₂に対する機体Ｖ
の傾きとなる。尚、この機体Ｖ前後方向での境界
L₂を検出する場合には、前記検出偏差βの値が
直ちに行程終端部の位置情報とはならないので、
前記検出偏差βの値および前記カメラ３の機体Ｖ
に対する取り付け距離および撮像方向の角度に基
づいて撮像視野下端部から機体Ｖまでの距離を予
め設定し、この設定距離情報に基づいて境界L₂
と機体Ｖとの実際の距離を算出することとなる。

ところで、前記カメラ３による撮像画像は、互
いに隣接した画素間の明度差に基づいて２値化処
理されるために、局所的な明度変化の影響を除去
して平均化する必要があり、その手段として、前
記カメラ３の前部に撮像画像をぼかすための光学
フイルタ８を設けてある。

又、前記カメラ３の撮像視野Ｓが、機体Ｖの上
方より前方下方の作業地を斜めに見下ろすように
なるため、機体Ｖに対して前方に向かつて台形に
広がるものとなり、撮像画像は、機体近傍側より
遠方側に向かう程細かく見えることとなり、この
一様でない画像情報をそのまま正方画素に標本化
すると、撮像画像の機体近傍側より遠方側となる
部分の画素密度が、機体Ｖに近い部分より細かく
なり、標本化が一様に行われなくなる。従つて、
前記光学フイルタ８のぼかし具合が、撮像視野Ｓ
のうちの車体前後方向を、車体後方側つまり前記
カメラ３に対して近傍側より遠方側に向かうほど
粗くなるように連続変化するようにして、撮像画
像全体が一様に平均化されるようにしてある。

すなわち、第１図に示すように、前記光学フイ
ルタ８は、透明なガラス板や樹脂板の表面に、下
方側から上方側に向かうほど徐々に粗くなるよう
にしながらメツシユ状の傷をつけたものであつ
て、この光学フイルタ８を通過して撮像された画
像が、下方側より上方側になるほど、つまり、車
体Ｖに対して前方側より後方側ほど大きくぼかさ
れるようしてある。

更に、自然光によつて生じる未処理芝の影等の
大きな明度変化の影響を除去するための手段とし
て、前記カメラ３の撮像に同期して発光されるス
トロボ装置９を設けてある。

第６図に示すように、エンジンＥからの駆動力
は、変速装置４を介して、前記前輪１Ｆおよび後
輪１Ｒの夫々に伝達され、変速位置検出用ポテン
シヨメータR₃による検出変速位置が所定の位置
となるように、モータ５を駆動して所定の走行速
度で走行するように構成してある。

又、前記前輪１Ｆおよび後輪１Ｒは、夫々油圧
シリンダ６Ｆ，６Ｒによりパワーステアリング操
作されるように構成してあり、車輪のステアリン
グ操作に連動するステアリング角検出用ポテンシ
ヨメータR₁，R₂による検出ステアリング角が目
標ステアリング角に一致するように、前記油圧シ
リンダ６Ｆ，６Ｒを作動させる電磁バルブ７Ｆ，
７Ｒを駆動するようにしてある。そして、前記機
体前後方向での境界L₁に対する機体Ｖ前後方向
の傾きαを修正する場合は、機体Ｖ向きを変化さ
せるために、前輪１Ｆと後輪１Ｒを相対的に逆方
向にステアリング操作する旋回ステアリングを行
い、前記境界L₁に対する機体Ｖ横幅方向の偏差
βを修正する場合は、機体Ｖ向きを変えることな
く平行移動させるために、前輪１Ｆと後輪１Ｒが
同一方向に向くようにステアリング操作する平行
ステアリングを行うようにして、機体Ｖが効率良
く境界L₁に沿うように制御するのである。

以下、境界検出装置Ａの構成およびその動作に
ついて説明する。

第２図に示すように、境界検出装置Ａは、前記
カメラ３により撮像された画像情報S₀を８ビツト
の分解能で量子化してデジタル値に変換するＡ／
Ｄ変換部１０、デジタル化された画像情報を、そ
の座標（ｘ、ｙ）を90度変換して構成画素数が32
×32の画像情報として標本化して記憶する画像メ
モリ１１、この画像メモリ１１に記憶された画像
情報S₂と前記Ａ／Ｄ変換部１０から出力される画
像情報S₁（ただし、構成画素数は32×32として処
理する）の何れの画像情報を処理するかを切り換
える入力形態切り換え手段としての画像切り換え
器１２、この切り換え器１２より出力される画像
信号F₁を、機体横幅方向（ｘ座標方向）での明
度変化に基づいて微分し、明度変化の方向性とそ
の大きさに対応するエツジ画像データF₂に変換
する微分処理部２０、この微分処理部２０により
微分処理されたエツジ画像データF₂の微分符号
（正、負）に基づいて正負一方の符号側のエツジ
画像データF₂と設定閾値（Fref）とを比較する
ことにより明度差の大きさに基づいて２値化し、
明度変化が大きい画像部分を抽出する２値化処理
部３０、この２値化処理部３０で２値化された２
値化画像データF₃を連続した直線として近似し、
画像上における境界L₁，L₂を特定するハフ変換
部４０、このハフ変換部４０からの情報に基づい
て検出境界L₁，L₂の機体Ｖに対する位置関係を
表す直線として近似された下記式（）に変換す
る境界パラメータ演算部５０、各処理部の動作を
制御する制御部６０、および、前記ストロボ９の
発光およびカメラ３の撮像を制御するITVコン
トローラ１３、前記微分処理部２０および２値化
処理部３０による処理画像を表示するモニタテレ
ビ１５の動作を制御するCRTコントローラ１４、
の夫々より構成してある。

ｙ＝ax＋ｂ ……（） ただし、 ａ：画像座標系での基準線L₀に対する境界L₁，
L₂の傾き、 ｂ：画像座標系での基準線L₀に対する境界L₁，
L₂の横方向偏差、 ｘ：機体Ｖ横幅方向画素の座標値 ｙ：機体Ｖ前後方向画素の座標値 である。

以下、第３図に示すフローチヤートに基づい
て、全体的な動作を説明する。

すなわち、前記ぼかし用の光学フイルタ８によ
り画像全体を平均化して撮像された画像を取り込
み、その撮像画像信号S₀をＡ／Ｄ変換して、一画
面当たり32×32画素で構成される直交座標系
（ｘ、ｙ）のデジタル化原画像信号F₁に変換す
る。

次に、行程途上の機体横幅方向での境界L₁を
検出するか、行程端部である機体前後方向の境界
L₂を検出するかをチエツクし、前記行程端部の
境界L₂を検出する場合は、前記画像メモリ１１
のアドレス座標を90度変換して与えることによ
り、画像信号S₁の座標を90度変換して記憶した画
像情報S₂を使用し、行程途上の境界L₁を検出す
る場合は、原画像信号S₀と同一座標系の画像信号
S₁を使用して、微分処理部２０により画像データ
を微分処理して、その微分符号の方向が正負一方
のもののみを２値化処理部３０において２値化す
る。

この、微分符号が正負何れの側のものを２値化
するかの選択は、以下に説明するように、機体Ｖ
に対して左右何れの側に未処理作業地Ｂが存在す
るかに基づいて、設定されるようにしてある。す
なわち、例えば、作業方法が作業地外周部の各辺
を90度方向転換しながら左回りに内周方向へと走
行する回り刈りの場合を例に説明すると、この場
合には、機体Ｖは右側に処理済作業地Ｃを隣接し
て走行する状態となる。つまり、明度変化は、画
像上左側から右側方向に走査すると、境界L₁部
分において大きく暗→明の正の変化が生じること
となり、隣接する画素間の変化を微分すると、そ
の微分値の符号が正（＋）のものが、未処理作業
地Ｂ側から処理済作業地Ｃ側へとその明度変化を
見た場合の境界L₁のある方向性に対応し、負
（−）のものはノイズと見なして除去できること
となる。

次に、この微分処理した画像データを２値化
し、更に下記式（）に基づいて、直交座標系
（ｘ、ｙ）から極座標系（ρ、θ）に変換してハ
フ変換し、その各極座標（ρ、θ）において同一
極座標（ρ、θ）をとる２値化画像データの頻度
を二次元ヒストグラムとしてカウントしてその最
大値（Dmax）を求める。

ρ＝xcosθ＋ysinθ ……（） ただし、 ０度≦θ≦180度 ｘ：機体Ｖ横幅方向画素の座標値 ｙ：機体Ｖ前後方向画素の座標値 である。

そして、前記最大値（Dmax）となる度数Ｄの
極座標（ρ、θ）の値から、一つの境界情報に対
応する境界パラメータである前記（）式を決定
し、この（）式の係数としての傾きａおよび偏
差ｂから、前記走行制御装置Ｈにおいて、境界
L₁に対する機体Ｖの実際の傾きαと横幅方向の
偏差βに換算し、これら傾きαおよび偏差βが
夫々零となるように、前輪１Ｆおよび後輪１Ｒを
ステアリング操作して、機体Ｖが境界L₁に沿つ
て自動的に走行するように制御するのである。

ところで、機体横幅方向での境界L₁を検出す
る場合は、カメラ３による撮像情報をそのまま微
分処理部２０に入力して処理し、機体前後方向で
の境界L₂を検出する場合は、原画像情報の上下
方向ｙを左右方向ｘに、左右方向ｘを上下方向ｙ
に、夫々変換して前記画像メモリ１１に記憶さ
せ、元の座標系（ｘ、ｙ）のままで読み出すこと
により、撮像情報の座標（ｘ、ｙ）を90度変換し
て、微分処理部２０に入力して処理させるので、
機体Ｖに対して異なる方向の境界L₁，L₂検出を、
微分処理部２０以降の各処理部をそのままで使用
できるのである。

そして、機体前後方向での境界L₂を検出する
場合は、前記同一極座標（ρ、θ）に一致する頻
度の最大値（Dmax）が設定閾値（Dref）以上で
ないと、機体Ｖは未だ行程端の境界L₂近傍に到
達していないと判断できるのである。一方、前記
最大値（Dmax）が設定閾値（Dref）以上である
場合は、前記（）式の傾きａと偏差ｂおよび撮
像視野下端と機体Ｖ前端との距離に基づいて、機
体Ｖから行程端部境界L₂までの距離を求め、回
向地点を正確に決定できる。

〔別実施例〕

上記実施例では、機体Ｖ前後方向での境界L₂
の検出を行うか否かに基づいて、微分処理部２０
への入力画像情報の座標を90度変換したものと90
度変換しないものとを、切り換えるようにしてい
るが、一画面分の画像情報を処理する毎に、入力
画像の座標を90度変換して、機体Ｖ横幅方向での
境界L₁検出と、機体Ｖ前後方向での境界L₂検出
とを、交互に繰り返し行うようにしてもよい。そ
の場合、カメラ３による撮像画像の１フイールド
毎に、交互に座標変換したものと変換しないもの
とを入力するようにすると、１フレーム毎に必要
な情報が同時に得られ、１画面分の撮像処理の間
に異なる方向の境界L₁，L₂を検出するための画
像情報を得ることができる。

あるいは、機体Ｖにその走行距離情報を検出す
る手段を設け、その検出走行距離情報と一行程の
走行予定距離情報とに基づいて、行程端近傍に達
しているか否かにより、機体Ｖ前後方向での境界
L₂検出処理に切り換えるようにしてもよい。

又、上記実施例では、ハフ変換処理の式（）
において、角度変化を０度≦θ≦180度の間で処
理しているが、境界L₁，L₂と機体Ｖと位置関係
から、境界L₁，L₂の方向が機体Ｖ進行方向から
大幅に変化することはないので、ハフ変換を行う
角度範囲を、例えば０度〜180度より狭い範囲に
限定して処理することにより、高精度にしたり、
あるいは、狭い特定範囲のみ処理することで、処
理速度を向上させたり、ノイズの影響を効果的に
除去させることができる。

又、上記実施例では、撮像画像情報を、32×32
画素に標本化したが、必要に応じて更に細かく、
あるいは、粗く標本化してもよい。

又、境界L₁，L₂と機体Ｖとの位置関係を求め
るに、上記実施例で例示した撮像視野を上下方向
に縦断する基準線L₀を基準にする他、撮像視野
の下端部、上端部、および中央、あるいは画像情
報の座標原点位置等、どこを基準にしてもよい。

【図面の簡単な説明】

図面は本発明に係る自動走行作業車用の境界検
出装置の実施例を示し、第１図は光学フイルタの
平面図、第２図は境界検出装置の構成を示すブロ
ツク図、第３図はその全体的な動作を示すフロー
チヤート、第４図は芝刈作業車の概略平面図、第
５図はその側面図、第６図は芝刈作業車の制御シ
ステムの全体構成を示すブロツク図である。 ３……撮像手段、８……光学フイルタ、Ｂ……
未処理作業地、Ｃ……処理済作業地、L₁，L₂…
…境界、Ｖ……車体。

Claims (1)

【特許請求の範囲】
1. １ 機体進行方向前方側の所定範囲の作業地状態
   を撮像する撮像手段３による撮像画像情報に基づ
   いて、未処理作業地Ｂと処理済作業地Ｃとの境界
   L₁，L₂を検出する自動走行作業車用の境界検出
   装置であつて、前記撮像手段３に、その撮像視野
   範囲のうちの車体前後方向後方側に対応する部分
   ほどぼかし程度を大にする光学フイルタ８を備え
   させてある自動走行作業車用の境界検出装置。