JPS63298103A - 撮像式の境界検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、未処理作業地と処理済作業地との境界部分を
二次元方向に亘って撮像する撮像手段が設けられ、その
撮像情報より、二次元方向に並ぶ各量子化画素の明るさ
に基づいて前記境界に対応する直線を求める画像処理手
段が設けられた撮像式の境界検出装置に関する。

〔従来の技術〕

上記この種の撮像式の境界検出装置は、未処理作業地と
処理済作業地との明るさが異なって見えることを利用し
て、撮像した画像情報を画像処理することにより、境界
に対応する直線を求めるようにしたものである。

そして、検出された直線の情報は、主として作業車を未
処理作業地と処理済作業地との境界に沿って自動走行さ
せるための制御情報として利用されるものであり、作業
車の走行前方側の状態を、その地点まで走行する前に検
出できれば、境界に対するずれを迅速に修正できること
になる。

従って、境界を的確に検出するためには、広範囲に亘っ
て撮像した画像情報を画像処理の処理対象とすることが
望まれている。

そのために、従来では、画像処理の対象となる画素数が
、境界の長手方向とそれに交差する方向とで同じ画素数
となるように設定されて、極力広い範囲に亘って撮像し
た画像情報に基づいて境界に対応した直線を求めること
ができるようにしてあった。

〔発明が解決しようとする問題点〕

上記境界は、主として作業車を境界に沿って自動走行さ
せるための制御情報等として用いられるものであること
から、作業車の走行速度に対応した処理速度で検出でき
るようにすることも望まれているが、上記従来のように
境界の長手方向とそれに交差する方向とで同じ画素数と
なるように設定すると、画像処理の高速化と境界の的確
な検出のための処理対象画素数の増加による処理時間の
増大とが相反する問題が生しる。

ところで、作業車は、検出された境界に沿って走行する
ように制御されることから、撮像された画像情報におけ
る境界の位置は、撮像視野の中央側から大きくずれるこ
とはないものであり、画像処理の対象画素を、境界と交
差する方向に並ぶ画素のうちの中央側の設定範囲に制限
しても、境界の検出を誤る虞れはない。従って、画像処
理対象の画素を中央側に制限して、処理対象となる画素
数を減少させることにより、境界の検出精度を低下させ
ることなく画像処理の高速化を図ることができる。

しかしながら、作業車は、一つの作業行程を終了するに
伴って、次の作業行程へ移動させるためにターンさせる
ことになるが、次の作業行程の境界に対するターン後の
車体位置や向きがずれると、画像処理の対象画素を中央
側に制限した情報のみを用いたのでは、境界検出を誤る
虞れがある。

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、求める直線の精度を低下させることなく、境
界の状態に対応した的確な画像処理ができるようにする
ことにある。

〔問題点を解決するための手段〕

本発明による撮像式の境界検出装置の特徴構成は、下記
の通りである。

すなわち、前記画像処理手段は、前記境界と交差する方
向に並ぶ画素のうちの中央側の設定範囲のものを処理対
象にする状態と、前記境界と交差する方向に並ぶ全画素
を処理対象とする状態とに切り換え自在に構成されてい
る点にある。

〔作　用〕

前記境界と交差する方向に並ぶ画素のうちの中央側の設
定範囲のものを処理対象にする状態に切り換えることに
より、全画素数を処理対象とする場合に比較して、境界
の検出精度を低下させることなく、画像処理の高速化を
図ることができる。但し、ターン後等の境界の位置変化
が大きい場合や、その位置が不明な場合には、境界と交
差する方向に並ぶ全画素を処理対象とする状態に切り換
えれば、的確な検出が行えるものとなる。

〔発明の効果〕

従って、求める直線の精度を低下させることなく、境界
の状態に応じた的確な画像処理を行えるようになった。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第６図に示すように、左右一対の前後輪（１）。

（２）が、その何れをもステアリング操作自在に設けら
れ、車体（Ｖ）の下腹部に、芝刈り装置（３）が上下動
自在に縣架され、もって、芝や雑草等の刈取作業に用い
る作業車が構成されている。

第６図及び第７図に示すように、作業地を二次元方向に
亘って撮像する撮像手段としてのイメージセンサ（Ｓｌ
）が、前記車体（Ｖ）に対して前方側の作業地の所定範
囲を撮像するように設けられている。

前記イメージセンサ（Ｓ１）の撮像視野について説明を
加えれば、前記車体（Ｖ）が、未処理作業地としての未
刈地（Ｂ）と処理済作業地としての既刈地（Ｃ）との境
界（Ｌ）に対して適正状態に沿っている状態において、
前記境界（Ｌ）が、視野の横幅方向中央に位置する状態
となるようにしである。

前記車体ｍの構成について説明すれば、第５図に示すよ
うに、前記前後輪（１）　、　（２）を各別に操作する
ステアリング用の油圧シリンダ（４）。

（５）、及び、それに対する制御弁（６）　、　（７）
が設けられ、前後進切り換え自在で且つ前後進ともに変
速自在な油圧式無段変速装置（８）が、エンジン（Ｅ）
に連動連結され、そして、変速モータ（９）が、前記変
速装置（８）の変速アーム（１０）に連動連結されてい
る。

又、前記車体（ｖ）の走行距離を検出するために、単位
回転数当たり設定個数のパルス信号を出力する回転数セ
ンサ（Ｓ２）が、前記変速装置（８）の出力にて回転駆
動されるように設けられている。

前記前後輪（１）　、　（２）夫々のステアリング位置
を検出するステアリング位置検出用ポテンショメータ（
ｌｉ＋）、　（Ｒ２）と、前記変速装置（８）の操作状
態を検出する変速位置検出用ポテンショメータ（Ｒ３）
とが設けられ、それらの検出情報、前記イメージセンサ
（Ｓｌ）の撮像情報に基づいて求められる境界（Ｌ）に
対応する直線の情報、及び、前記回転数センサ（Ｓ２）
の検出情報に基づいて、前記車体（ｖ）が未刈地（Ｂ）
と既刈地（Ｃ）との境界（Ｌ）に沿って自動走行するよ
うに制御するマイクロコンピュータ利用の制御語Ｗ（１
１）が設けられている。

尚、図中、（）ｌ）は搭乗操縦用のステアリングハンド
ル、（Ｒｏ）はその操作位置検出用ポテンショメータ、
（１２）は搭乗操縦用の変速ペダルである。

但し、前記イメージセンサ（Ｓｌ）の撮像画像情報を画
像処理して前記境界（Ｌ）に対応した直線を検出するた
めの画像処理手段（１００）が、前記制御装置（１１）
を利用して構成されている。

前記車体（Ｖ）の自動走行について説明すれば、第７図
に示すように、既刈地（Ｃ）で囲まれた四角状の未刈地
（Ｂ）の−辺から対辺に至る部分を、一つの作業行程と
して、車体（Ｖ）が作業行程の長さ方向に沿う側の前記
未刈地（Ｂ）と既刈地（Ｃ）との境界（Ｌｌ）に沿って
自動走行するように、前記画像処理にて検出された情報
に基づいて操向制御されることになり、そして、一つの
作業行程の終端側の境界（Ｌ２）つまり前記未刈地（Ｂ
）の対辺に達するに伴うて、その作業行程に交差する次
の作業行程の始端部に向けて自動的にターンさせること
を繰り返すことにより、いわゆる回り刈り形式で、所定
範囲の芝刈り作業を自動的に行わせるようにしである。

前記制御装置（１１）の作動を述べながら説明を加える
と、第３図に示すように、走行が開始されると、前記回
転数センサ（Ｓ２）の検出情報に基づいて設定距離走行
する毎に、後述の如く、画像処理の処理対象となる画素
範囲を制限して作業行程の長さ方向の境界（Ｌ１）を検
出するための境界検出処理が行われ、その検出情報に基
づいて、前記車体（Ｖ）が前記境界（Ｌｌ）に沿って自
動走行するように操向制御されることになる。

そして、前記回転数センサ（Ｓ２）の検出情報に基づい
て、一つの作業行程の長さに相当する距離に対して設定
範囲内まで走行するに伴って、走行速度を予め設定され
た速度まで減速した後、全画面情報を用いてその作業行
程の終端側の境界（Ｌ２）を検出する終端検出の処理を
行い、それの画像上の位置情報に基づいて、車体（Ｖ）
の現在位置に対する終端位置を算出し、算出した終端位
置の情報に基づいて、作業行程の終端部に達するに伴っ
て、予め設定記憶されたターンパターンに基づいて次の
作業行程に向けてターンさせることになる。

ターン後は、例えば、予め設定された行程数を走行した
か否か、あるいは、設定された走行距離に達したか否か
等を判別することにより、作業終了か否かを判断して、
作業終了でない場合は、前述の境界検出処理以降の処理
を繰り返すことになり、一方、作業終了の場合は、前記
車体（Ｖ）を停止させて、全処理を終了することになる
。

但し、ターン後において、所定距離を走行する間は、前
記終端検出の場合と同様に、減速走行する状態で全画面
情報を用いて前記境界（Ｌｌ）を検出させるようにしで
ある。

つまり、ターン後は、車体（Ｖ）の走行が不安定となり
易いために、車体（Ｖ）の位置が作業行程の始端部側に
おける境界（Ｌｌ）の位置から大きくずれる虞れがある
が、その場合にも、前記境界（Ｌ１）を的確に検出でき
るようにするためである。そして、所定距離を走行した
後は、前述の如く、元の走行速度となるように増速する
と共に、画面を制限した画像情報に基づいて前記行程側
の境界（Ｌ１）を検出することになる。

尚、終端に近づいた場合に減速させる理由について説明
を加えれば、車体（Ｖ）が検出した終端側の境界（Ｌ２
）まで走行する間やターン中における走行が不安定にな
らないようにするために、走行速度を減速させるのであ
る。

前記行程側の境界（Ｌｌ）に対するずれの算出について
説明を加えれば、車体横幅方向に向かう位置のずれと、
境界（Ｌｌ）の向きに対する傾きのずれとがあるが、そ
れらを定量的な値として算出してもよく、又、単にずれ
の方向だけを算出するようにしてもよい。

又、操向制御の処理について説明を加えれば、平行ステ
アリング形式にて、車体横幅方向の位置のずれを修正し
、４輪ステアリング形式にて、向きのずれを修正するこ
とになる。但し、前記前後輪（１）　、　（２）のステ
アリング量に差を付けて、位置と向きのずれを同時に修
正するようにしてもよい。

次に、第１図に示すフローチャートに基づいて、前記境
界検出の処理について詳述する。

但し、以下に説明する境界検出の処理は、前記未刈地（
Ｂ）が既刈地（Ｃ）よりも暗く見える現象を利用して行
われるものである。

そして、前記行程側の境界（Ｌｌ）を検出する場合には
、前記境界（Ｌ１）に対応する直線の検出精度が低下し
ないようにしながら、車体（Ｖ）の走行速度に対応して
高速に画像処理を行えるようにするために、処理対象と
なる画面範囲を中央側の縦長に制限するようにしである
。

但し、前記終端側の境界（Ｌ２）を検出する場合、及び
、ターン後、所定距離を走行する間は、前述の如く、全
画面情報を処理対象とすることから、画面の制限を行わ
ないようにしである。

すなわち、境界検出処理が開始されるに伴って、前記イ
メージセンサ（Ｓ１）による撮像処理が行われると共に
、その画面視野全体に亘る撮像情報が取り込まれて、予
め設定された画素密度に対応して量子化される。

取り込まれた画像情報は、平滑化されて明るさの細かい
変化を除去されることになる。

平滑化した後は、前記作業行程側の境界（Ｌ１）を検出
するのか終端側の境界（Ｌ２）を検出するのかに基づい
て、処理対象となる画面を制限するか否かを判別する。

画面制限の場合には、第２図に示すように、前記行程側
の境界（Ｌ１）の長さ方向に交差する方向つまり画面上
で横幅方向となるＸ軸方向に向けて、中央側の設定範囲
内（ｍ≦Ｘ≦ｎ）となる画素についてのみ、その明るさ
変化の微分値（ＳＸ）を求める微分処理を行う。

画面制限でない場合、つまり、前記終端側の境界（Ｌ２
）を検出する場合、又は、ターン後において所定距離を
走行する間は、企画面分の各画素の夫々について微分値
を求めることになる。

尚、この微分処理における処理対象の画素を、画面上で
中央側の設定範囲内となるように画面を制限するかしな
いかを切り換える処理によって、前記画像処理手段（１
００）が、前記境界（Ｌ）と交差する方向に並ぶ画素の
うちの中央側の設定範囲のものを処理対象にする状態と
、前記境界（Ｌ）と交差する方向に並ぶ全画素を処理対
象とする状態とに切り換え自在に構成されていることに
なる。

前記微分処理について説明を加えれば、処理対象となる
画素（ｅ）の周囲に隣接する８画素（ａｘｄ、ｆ−ｉ）
を含む９画素を覆う３×３画素分のマスク（第４図参照
）を用いて、下記（ｉ）式に基づいて、画像上のＸ軸方
向における明るさ変化の微分値（ＳＸ）を演算する処理
が、二次元方向に並ぶ各画素について行われることにな
る。

５Ｘ（ｘ、ｙ）　−（ａ＋ｄ＋ｇ）−（ｃ＋ｆ＋ｉ）　
　−−・−（ｉ　　）但し、この微分処理において、前
記車体（Ｖ）に対して前記境界（Ｌ１）が左右何れの側
に位置するかに基づいて、前記微分値（ＳＸ）の符号を
判別して、正負いずれか一方の符号となる値のみを用い
ることになる。

つまり、前記式（ｉ）において、画像上左側に位置する
画素の明るさから右側に位置する画素の明るさを減算す
るようにしているので、左側のほうが明るい場合には、
前記微分値（ＳＸ）は正の値となり、右側のほうが明る
い場合には負の値となる。

従って、前記車体（Ｖ）に対して境界（Ｌｌ）が左側に
位置する状態で走行させる場合には、前記微分値（ＳＸ
）が正の値となるものを抽出し、右側に位置する状態で
走行させる場合には、前記微分値（ＳＸ）が負の値とな
るものを抽出することになる。

そして、前記微分値（ＳＸ）の絶対値が予め設定された
設定閾値以上の大きさとなる画素のみを抽出するように
２値化することにより、明るさ変化が大なる箇所の画素
を抽出する。

次に、ハフ変換処理を用いて、２値化された各画素毎に
、その画素を通る設定角度毎に分割された多数本の直線
を、下記式（ｉｉ）に基づいて極座標系（ρ、θ）に投
影し、同一座標値をとる頻度をヒストグラムにとり、そ
して、そのヒストグラムから、最大頻度となる一つの直
線を求めて、その直線を、前記作業行程に沿う方向に向
かう境界（Ｌｌ）に対応する直線として検出する。

ρ＝Ｘ−ＣＯ３θ＋ｙ−ｓｉｎθ　・・・・・・（ｉｉ
　）但し、前記終端側の境界（Ｌｍ）を検出する場合に
は、明るさ変化が車体（Ｖ）に対して前後方向となり、
且つ、画面上、上方から下方に向かって明から暗へ変化
することになるために、前述の微分処理において、ｙ軸
方向での明るさ変化の微分値を求めて、前記Ｘ軸方向で
の微分値（ＳＸ）の代わりに使用して、同一処理で終端
側の境界（Ｌｍ）を検出することになる。

尚、この境界検出の処理において、説明のために用いた
画面は仮想上のものであり、前記各境界（Ｌｌ）、（Ｌ
ｍ）に対応した直線が、実際に引かれることはなく、最
大頻度となる前記（ｉｉ　）式にて求められた値（ρ）
と、その値となる角度（θ）の値とを、検出した直線に
対応する情報として使用することになる。そして、境界
に対するずれの算出や終端位置の算出の処理において、
それらの値（ρ）、（θ）から、実際の地面の座標系に
写像することにより、車体（Ｖ）に対する実際の境界（
Ｌｌ）、（Ｌｍ）の位置を算出することになる。

そして、実際の地面に写像された情報に基づいて、操向
制御することにより、前記車体（Ｖ）が境界（Ｌｌ）に
沿って自動走行し、且つ終端側の境界（Ｌｍ）に達する
に伴って、次の作業行程の始端部に向けて自動的にター
ンするように、誘導することになる。

ところで、前記イメージセンサ（Ｓｌ）が車体前左側の
作業地を斜め上方から撮像するように取り、付けられて
いることから、その撮像画像情報から得られる各境界（
Ｌｌ）、　（Ｌｍ）の画面上の位置変化は、車体（Ｖ）
に対する実際の境界（Ｌｌ）、　（Ｌｍ）の位置までの
距離に反比例して、遠方はど小さくなる状態となる。

従って、前記終端側の境界（Ｌｍ）の判別、その終端側
の境界（Ｌｍ）までの距離の算出、並びに、検出された
行程側の境界（Ｌｌ）に対するずれの算出の夫々におい
て、画面上の検出位置に対応して、車体（Ｖ）に対する
実際の位置に換算することになる。

〔別実施例〕

上記実施例では、画面上、中央側の所定範囲に位置する
画素のみを微分処理の処理対象とするか、全画素を微分
処理の処理対象とするかを切り換えることにより、前記
境界（Ｌ）と交差する方向に並ぶ画素のうちの中央側の
設定範囲のものを処理対象にする状態と、前記境界（Ｌ
）と交差する方向に並ぶ全画素を処理対象とする状態と
に切り換え自在に構成した場合を例示したが、画像情報
の取り込み時における取り込み範囲、微分処理後の２値
化範囲、あるいは、ハフ変換対象の範囲等を、切り換え
るようにしてもよい。

又、上記実施例では、画面上、中央側の所定範囲に位置
する画素を画像処理の対象とするように制限した場合を
例示したが、例えば、第８図に示すように、画面上、中
央側の所定範囲に位置する画素を画像処理の対象とする
ように制限する処理に加えて、ｙ軸方向に並ぶ画素列を
、数列おきに間引くようにして、さらに画像処理の対象
となる画素数を制限するようにしてもよい。

つまり、前記作業行程の長さ方向に向かう境界（ｔ、Ｉ
）は、連続的に存在するものであることから、その長手
方向に向かって中間に位置する情報を間引いても、検出
精度が低下することはないのであり、このように、ｙ軸
方向に向けて処理対象となる画素を間引くことにより、
処理対象となる画素数を減少することができ、さらに高
速処理が可能となるのである。

又、上記実施例では、Ｘ軸方向の微分値（ＳＸ）の大き
さに基づいて、２値化するようにした場合を例示したが
、例えば、ｙ軸方向の微分値をも用いて、明るさ変化の
方向を考慮するようにしてもよい。

又、上記実施例では、境界（Ｌ）に対応する直線を求め
る直線演算手段として、ハフ変換処理を用いた場合を例
示したが、直線演算手段の具体構成は各種変更できる。

又、上記実施例では、本発明を芝刈り用の作業車を自動
走行させるための手段として用いた場合を例示したが、
本発明は、各種の作業地の境界を検出する手段として適
用できるものであって、画像処理手段を含む各部の具体
構成は、各種変更できる。

尚、特許請求の範囲の項に図面との対照を便利にするた
めに符号を記すが、該記入により本発明は添付図面の構
造に限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る撮像式の境界検出装置の実施例を示
し、第１図は境界検出処理のフローチャート、第２図は
処理画像の説明図、第３図は制御作動の概略を示すフロ
ーチャート、第４図は微分処理の説明図、第５図は制御
構成を示すブロック図、第６図は作業車の全体側面図、
第７図は作業地の説明図、第８図は別実施例の説明図で
ある。 （Ｂ）・・・・・・未処理作業地、（Ｃ）・・・・・・
処理済作業地、（Ｌ）・・・・・・境界、（Ｓ＋）・・
・・・・撮像手段、（１００）・・・・・・画像処理手
段。

Claims (1)

【特許請求の範囲】
1. 未処理作業地（Ｂ）と処理済作業地（Ｃ）との境界（Ｌ
   ）部分を二次元方向に亘って撮像する撮像手段（Ｓ＿１
   ）が設けられ、その撮像情報より、二次元方向に並ぶ各
   量子化画素の明るさに基づいて前記境界（Ｌ）に対応す
   る直線を求める画像処理手段（１００）が設けられた撮
   像式の境界検出装置であって、前記画像処理手段（１０
   ０）は、前記境界（Ｌ）と交差する方向に並ぶ画素のう
   ちの中央側の設定範囲のものを処理対象にする状態と、
   前記境界（Ｌ）と交差する方向に並ぶ全画素を処理対象
   とする状態とに切り換え自在に構成されている撮像式の
   境界検出装置。