JP2795454B2 - カラー情報による境界線の検出方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、圃場に植立された稲、麦、大豆等の当該列
に沿って走行機体を走行させて刈取り脱穀する等のいわ
ゆる汎用コンバインまたは普通形コンバイン等の収穫機
や、圃場を耕作する乗用型耕耘機等の操作機体を、未作
業地と既作業地との境界線に沿って走行させるために、
カラー撮像して得られたカラー画像データにて前記境界
線を検出する２値化処理方法に関するものである。

〔従来の技術〕

圃場に植立した稲列に沿ってコンバインを前進走行さ
せ、当該稲列を複数条づつ刈取るように、当該コンバイ
ンを自動操舵走行させる際して、未刈取地である未作業
地と既刈取地である既作業地との境界線を検出する技術
として、特開昭62−122507号公報では、走行機体に搭載
した白黒ビデオカメラにて既刈取地と未刈取地との両者
に跨る圃場面を撮像し、この画像データをその平均明度
差に基づき２値化処理することにより、前記境界線を抽
出することを提案している。

〔発明が解決しようとする課題〕

前記先行技術の２値化処理に際して、画像データにお
ける明度変化の微分値が一定以上の値をしきい値とする
処理を実行しているが、このようにしきい値を予め固定
的に設定すると、２値化の処理自体は簡単になるが、画
像データは白黒およびその中間階調（灰色の濃淡）であ
るため、情報量が少なく２値化処理に際して、境界線の
抽出等の特徴抽出に誤差が出るという問題があった。

つまり、撮像したときの天候、稲の品種、稲の生育状
況が種々異なること等撮像条件が変動するから、未刈取
地と既刈取地との白黒および灰色階調に差異が表れ難い
という問題があった。

そこで、情報量の多いカラー画像によるデータにて２
値化するため、本出願人は先に特願昭63−263794号にお
いて、カラー撮像手段にて得られたカラー情報の赤色成
分、緑色成分、青色成分の３色成分のサンプルデータを
基準とする２値化条件式から２値化処理する技術を提案
した。

本発明はこの技術を発展させ、より正確な２値化処理
を実行し、未作業地とそれ以外の地（既作業地等）との
境界線を迅速且つ正確に検出することができるようにす
ることを目的とするものである。

〔課題を解決するための手段〕

そこで本発明は、カラー撮像手段にて未作業地とそれ
以外の地とその両者間の境界線を撮像して得られたカラ
ー画像データの３原色成分を、多階調のデジタル信号に
変換し、未作業地側のサンプリング領域における前記３
原色成分のデジタル信号からしきい値を設定して２値化
処理し、前記境界線を検出する方法において、前記２値
化したのち境界線を求めるためのハフ変換処理にて、そ
のハフ値のピークレベルが最大値または最大値の近傍と
なるように、前記しきい値を適宜変更する評価学習を実
行することを特徴とするものである。

〔発明の作用・効果〕

このように、本発明では、情報量の多いカラー画像デ
ータから３原色成分を多階調のデジタル信号に変換し、
これをもとにしきい値を設定するので、白黒の画像デー
タに比べて、より人間の認識に近いデータ量にて判断す
ることができる。

未作業地側のサンプリング領域におけるカラー画像デ
ータを使用して、しきい値を設定するので、サンプリン
グ時の状況や撮像の対象が変化することでカラー画像デ
ータに変動があっても、前記状況や対象に応じたしきい
値を設定でき、固定的なしきい値を設定するのに比べて
状況等の変化に即応して境界線の検出を正確に実行でき
る。

また、２値化したのち境界線を求めるためのハフ変換
処理にて、そのハフ値のピークレベルが最大値または最
大値の近傍となるように、前記しきい値を適宜変更する
評価学習を実行するのであるから、一旦設定したしきい
値のうちから、サンプリングの状況や撮像対象等に応じ
て境界線がより一層正確に計算できるような最適のしき
値を選択し、確定できるのである。

〔実施例〕

次に本発明を汎用コンバインに適用した実施例につい
て説明すると、走行作業機であるコンバイン１は走行機
体２の下面に左右一対の履帯式の走行装置3,3を備え、
走行機体２の前進方向に向かって右側前部には座席付き
の操縦部４を配設し、その後方にはエンジン（図示せ
ず）及び穀粒蓄積用のタンク５を備え、走行機体２の左
側には、円周外面にダブルピッチのスクリュー板と適宜
個数の扱歯とを植設した前後長手の扱胴6a等を内蔵した
脱穀部６と、その下方に受け網８と、シーブ等による揺
動選別装置９と、唐箕フアン10の風による風選別装置と
を備える。

一方、走行機体２の前面には、前記脱穀部６の前部開
口に連通する角筒状のフイーダハウス11を昇降用油圧シ
リンダ12を介して走行機体に対して昇降自在に装着して
あり、該フイーダハウス11の内部には、左右長手の搬送
板を左右一対のチエンに適宜間隔で取付けたチエンコン
ベヤ13を配設し、このチエンコンベヤ13にて後述の刈取
部15からの刈取穀稈を前記脱穀部６に搬送するものであ
る。

符号7aは、二番樋（図示せず）からの穀粒を脱穀部６
に還元するように搬送する二番還元筒、符号7bは前記タ
ンク５内の穀粒を外部に排出するための排出筒である。

刈取部14は、走行機体２の全幅にわたって左右に延び
るバケット状のプラネットホーム17と、該プラットホー
ム17に走行機体２の全幅にわたって設けたタインバー18
付きのリール19とから成り、プラットホーム17の下面側
には同じく左右長手のバリカン状の刈刃20を有し、プラ
ットホーム17の底板上方には、矢印方向に回転する横長
の掻き込み用のオーガ22を備えてあり、伝動部を介して
前記リール19及びオーガ22を回転駆動し、且つ刈刃20を
駆動する。

なお、符号23は刈取部15の左右両端から前向きにする
分草体であり、また、前記リール19は、穀稈の倒伏状態
等に応じて前後移動調節及び上下揺動調節自在に構成さ
れている。

符号25は、第１図等に示すように、圃場に適宜間隔に
て縦横に植立した被検出物である稲の穀桿で、この縦横
に適宜間隔で植立した穀桿25に向かってコンバイン１を
前進させてこれらを刈取るものである。

符号24は前記操縦部４のキヤビン前部上端等に取付く
カラービデオカメラ等の撮像手段である。

また、第３図は、本発明の制御手段のブロック図を示
し、符号27は前記撮像手段24のアナログ入力信号をデジ
タル信号に変換するA/D変換器、符号28は画像メモリ、
符号29は画像処理プロセッサ、符号30は中央処理装置
（CPU）で、符号31は読み出し専用メモリ（ROM）、符号
32は読み書き可能メモリ（RAM）32である。

なお、中央制御装置30の指令信号に従って駆動される
油圧切換弁等の電磁ソレノイドで代表される操舵アクチ
ュエータ33、34にて走行機体２を左右に操舵することが
きる。

前記カラービデオカメラ等のカラー撮像手段24は、レ
ンズ系を通して得られた画像（結像）を電気信号に置き
換えるCCD固体撮像素子等から成る二次元撮像デバイス
とからなり、該カラー撮像手段24における二次元撮像デ
バイスは、例えば、１画面につき64×64ドット（縦×
横）の画素を有し、その各画素ごとにRGB表色系〔赤色
（Ｒ），緑色（Ｇ），青色（Ｂ）の原色光とし、加色に
より白色が得られる〕の各色成分の信号に分解すること
ができ、このアナログの色信号をA/D変換器27にて64階
調のデジタル信号に変換する。つまりこのデジタル信号
は、１画素あたり各色成分ごとに64階調（レベル）に量
子化するものであり、ここでのデジタル信号への変換
は、前記一回の撮像ごとにて得られた一つの画面35全体
について実行される（第４図参照）。

この１画素ごとのデジタル信号は画像メモリ28に格納
された後、画像処理プロセッサ29で所定と範囲のサンプ
リング領域Ｓについてのみ、以下のしきい値の演算及び
ハフ（hough）変換処理を実行する。

次に第６図で示すフローチャートに従って、本発明の
画像処理方法について説明する。

まず、走行作業機１を未作業地Ｍと既作業地Ｋと境界
線Ko近傍に配置し、スタートに続くステップS1で、ｉ＝
０等初期値設定し、ステップS2にてカラー撮像手段24
で、画面35の左右に未作業地Ｍと既作業地Ｋとが写りそ
の中程部分に縦方向に前記境界線Koがあるようにして撮
像し、ステップS3では、前記R,G,B3色のデジタル信号を
画像メモリ28に読み込む。

ステップS4では、画像35のうち未作業地Ｍの領域から
サンプリング領域Ｓを特定する。

サンリング領域は、撮像された画面35のうち特定の小
さい領域箇所を予め設定するが、例えば、カラー撮像手
段24で撮像された画面35のうち左略半分の領域に未刈取
地Ｍが撮像され、右半分には既刈取地Ｋやその他の背景
が撮像されていると仮定すると、前記左半分の画面を３
×３画素ないし４×４画素の小さい領域に分割し、その
うちの１つないし複数のサンプリング領域Ｓを特定する
（第４図参照）。

ステップS5にて前記サンプリング領域Ｓでの前記R,G,
B3色成分デジタル信号の平均値（算術平均値）Rav,Gav,
Bavを計算する。

前記サンプリング領域Ｓの大きさが３×３画素である
場合には、その画素の数は９つであり、その各画素ごと
に赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の各色信号のサ
ンプリング出力値を求め、その平均値（算術平均値）を
各々Rav,Gav,Bavとする。

ステップS6では前記各サンプリング出力値から、各々
の色成分における標準偏差σr,σg,σｂを演算する。

そして、以下のステップS7からステップS13までの処
理実行して、画像処理における２値化処理の際の最適な
しきい値を確定するものである。

即ち、前記各色のしきい値を設定するとき、前記サン
プリング領域Ｓのデータはある程度のばらつきがあるの
で、そのばらつきの程度は標準偏差を計算することによ
り得ることができる。

この場合、サンプリング数（データ）が充分大きいと
きには、一般に偶然誤差の効果として、通常の正規分布
（ガウス分布）が生じる。

今、一般に測定値の平均値Xavとすると、その平均値
の信頼区間は規定された確立Ｐで不確かである限界（Xa
v−ａσ〜Xav＋ａσ）を与える（ａは係数、σは標準偏
差）。

例えば、確率Ｐ＝95.4％のときには、前記係数ａ＝２
となり、すべてのデータあは、95.4％の確立で、Xav−
２σ〜Xav＋２σの範囲内に入るものである。

しかし、サンプリング数が少ないときには、データの
信頼度、ひいてはしきい値の信頼度（正確さ）を通常の
正規分布（ガウス分布）における確率からもとめること
ができない。

そこで、前記各サンプリング出力値から、各々の色成
分における標準偏差σr,σg,σｂを演算し、各色のしき
い値Rth,Gth,Bthを演算するに際して、 とし、係数aiを適宜間隔で変化させて、その各しきい値
を求めて実際に２値化処理を実行し、その２値「０」，
「１」の値にて画面35上の未作業地Ｍの領域と既作業地
Ｋの領域とに区分し、その境界線Koに相当する画面35上
の多数の候補点Ｓが略直線状等（ある程度のばらつきが
ある）に分布しているとき（第５図参照）、この多数の
候補点Ｓから仮想境界直線Ｋ′を求める直線当てはめ処
理を行って前記境界線を求めるハフ（hough）変換を実
行し、そのうち最も良い結果が得られたしきい値を採用
するのである。

このときの最も良い結果であると評価するのは、前記
係数aiを所定の一定間隔で変化させ、各係数aiのときに
取る各色のしきい値Rth,Gth,Bthの組で２値化を実行
し、その時のハフ（hough）変換で得られるハフ値（ρ
とθが取る値のヒストグラム）のピーク値Pkiとする
と、前記係数aiを適宜間隔で変化させた場合に、そのピ
ーク値Pkiが最大またはその近傍となるときとするもの
である。

ここで、ハフ変換とは、第５図に示すようなｘ−ｙ座
標系における任意の候補点Ｓの座標（xi,yi）を通るす
べての直線群は極座標系では、ρ＝xicosθ＋yisinθで
表現できる（第７図〜第９図参照）。つまり、ひとつの
座標（xi,yi）を通る直線群をρ−θ空間に写像すれ
ば、ρ−θ座標系では一本の軌跡としての曲線を描くこ
とになる。

従って、前記境界線Koに対応して、所定のしきい値で
得られたすべての候補点Ｓ（xi,yi）（第５図参照）に
対して、第７図〜第９図に示すようにハフ軌跡線HBの曲
線群が得られる。

なお、第７図〜第９図では、ρの範囲を＋44〜−44ま
で、θを＋π/2〜−π/2まで取る。

そして、このハフ軌跡線HGの群がρ−θ平面を最も多
く交差する箇所の座標（ρ1,θ１）を見出すと（第８図
〜第９図参照）、ρ１＝xicosθ１＋yisinθ１としての
一本のハフ軌跡線が特定され、これをｘ−ｙ座標に逆写
像すると、第５図に示すように、前記境界線Koに対応す
る１本の仮想境界線Ｋ′が求められる。

この場合、前記（１）式における係数aiの大きさによ
り、ρ−θ平面でのハフ軌跡線HGの群の分布状態は各々
異なり、前記（１）式におけるしきい値が適切でないと
きには、ｘ−ｙ平面上での候補点Ｓがばらつくので、第
７図のように、ハフ軌跡線HGの群がρ−θ平面で交差す
る箇所があまり無く、且つ交差する箇所が集中すること
もない。しきい値の適切さが中程度であるときには、第
８図のように交差する箇所がある程度集中的となり、し
きい値が最適であるときには、ｘ−ｙ平面上での候補点
Ｓが略直線状（帯状）に並ぶので、第９図のようにハフ
軌跡線HGの群がρ−θ平面で最も多く交差する箇所の座
標（ρ1,θ１）が微小の範囲内におさまり、逆写像すれ
ば前記境界線Koに近い仮想境界線Ｋ′としての直線を得
ることができることになる。

なお、第10図は、係数aiをパラメータとして、ある係
数aiであるときに、ハフ軌跡線HGの群がρの値とθの値
に応じて取る分布量Ｖ（ヒストグラム）を三次元グラフ
で示したものであり、第11図は、係数aiを変化させた場
合に前記分布量Ｖ（ヒストグラム）のうちの最大分布量
Ｖ（ρ，θ）が増減変化する状態曲線Ｐを示し、ある係
数ai（ｉ＝１〜５）における各状態曲線Ｐ中の頂点をピ
ークレベルPki（Pk1〜Pk5）として示す。

そしてこのピークレベルPkiが最大のもの、または最
大値近傍となる前記係数aiを検索すれば、その係数aiに
て（１）式に従って計算されるしきい値（Rth,Gth,Bt
h）の組を最適しきい値として確定するように評価学習
させるのである。

なお、ステップS7は前記係数aiを所定の間隔で変化さ
せるために実行するものであり、ステップS8は２値化処
理実行、ステップS9はハフ（hough）変換処理実行、ス
テップS10はピークレベルPkiの記憶、ステップS11は前
記係数aiを所定の間隔で変化させるごとにそれに対応す
るピークレベルPkiと前回と係数aiで得られたピークレ
ベルPkiとの大小関係を判断するピークレベルの評価を
実行するものである。

このステップS11におけるピークレベルの評価におい
て、前記係数aiを例えば0.25の間隔で順次増加させつ
つ、しきい値計算し、その結果から各々ピークレベルPk
iを求め、すべてのピーク値レベルPkiを一旦記憶させた
後、そのうちの最大値を検索するという手法では、メモ
リ容量が増大すると共に計算時間が長引き、結果を迅速
に出すことができないので、いわゆる山登り法を利用し
てピークレベルPkiが最大または最大値の近傍となるし
きい値を検索する。

ここで、山登り法とは、ある係数ai（ｉ＝１）を出発
点とし、その値におけるしきい値からピークレベルPk1
を求め、次に前記係数aiの値を一つずらせ（適宜の間隔
分だけ増大させてｉ＝２とする）、そのときしきい値か
ら求めたピークレベルPk2と前記Pk1の大小を比較し、Pk
2＞Pk1であるときには、大きい方のピークレベルPk2を
記憶させておき、さらに係数ai（ｉ＝３）を一つずらせ
て得たピークレベルPk3と前記記憶させたピークレベルP
k2と大小比較を実行し、大きい方を採用するというよう
に、順次高い値のものを採用することにより、ピークレ
ベルの最大値（山の頂点）付近を見出すものであり、今
回のピークレベルが前回のものより小さい値のときには
前回の値の箇所が山の頂点付近であったと判断するもの
である。この方法ではピークレベルの最大値そのものを
正確に出すことはできないが、最大の近傍であることを
迅速に検索することができる。

なお、前記ρ−θ平面上でのハフ軌跡線HGの曲線群が
最も多く集まる箇所を検出するため、ρ−θ平面を縦横
（二次元）に細かく分割して検索すると、この分割数に
相当する大きな容量の二次元配列メモリが必要となる
し、ρ−θ平面全体についてピークレベルPkiの記憶さ
れると、不必要な箇所の境界線（例えば中割り作業時の
他方の境界線）も記憶させるという不都合が生じると共
に演算時間が長引くので、ρの値をminρ〜maxρの範囲
内に限定するようにその最大値と最小値とを適宜限定す
るのが好ましい。

ステップS12にて前記ステップS11のピークレベルの評
価、つまりピークレベルが最大値又はその近傍となる条
件が満足するか否かを判別し、条件満足しない（no）と
きには、でステップS6の後に戻して、係数aiを一定間
隔変化させてしきい値計算、２値化処理、ハフ（houg
h）変換処理、ピークレベルPkiの記憶、ピークレベルの
評価を繰り返す。

前記ステップS12にて条件満足する（yes）ときには、
ステップS13にてしきい値を確定させる。

その後は、走行作業機１を前進させつつ、撮像手段24
で読み込んだ未作業地と既作業地との画像情報を、前記
確定したしきい地でもって２値化処理し、未作業地Ｍと
既作業地Ｋとの境界線Koを決定すれば良いのである。

なお、２値化画像に含まれている雑音成分、穴、欠け
を埋める整形処理のため、注目する画素の外周に隣接す
る画素の連結関係（８連結論理和）で調べ、拡散、侵
食、孤立点除去の手法で処理した。

この２値化処理は、ｘ−ｙ平面の画面47の全画素につ
いて実行しても良いが、不必要な対象の箇所を２値化す
ることで、直線化の誤差が大きくなるから、一定のウイ
ンドウ処理（ｘ−ｙ平面である枠内の領域のみの２値化
処理）を実行しても良いのである。

このようにすれば、画面35の画素全体にわたって２値
化する場合に要するメモリよりメモリ量を削減できる
し、境界線検出までの処理時間を大幅に短縮できるので
ある。

なお、撮像して検出する境界線の対象は、未作業地と
既作業地との境界線ばかりでなく、未作業地と畦（コン
クリート製畦を含む）との境界線等もある。

【図面の簡単な説明】

図面は本発明の実施例を示し、第１図はコンバインの平
面図、第２図は側面図、第３図は制御装置のブロック
図、第４図は既作業地と未作業地と境界線を撮像した画
面の説明図、第５図はｘ−ｙ平面における候補点を示し
た画面の説明図、第６図はフローチャート、第７図と第
８図と第９図は各々ρ−θ平面におけるハフ軌跡線HGの
説明図、第10図はハフ値（ρとθ）に対する分布量Ｖ
（ヒストグラム）を示す図、第11図は係数aiの変化に対
応する分布量Ｖ（ヒストグラム）のピークレベルを示す
図である。 １……作業機、3,3……走行装置、６……脱穀部、15…
…刈取部、24……撮像手段、30……中央制御装置、27…
…A/D変換器、28……画像メモリ、29……画像プロセッ
サ、35……画面。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G05D 1/02 A01B 69/00 303 G06T 1/00 G06T 9/20

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】カラー撮像手段にて未作業地とそれ以外の
   地とその両者間の境界線を撮像して得られたカラー画像
   データの３原色成分を、多階調のデジタル信号に変換
   し、未作業地側のサンプリング領域における前記３原色
   成分のデジタル信号からしきい値を設定して２値化処理
   し、前記境界線を検出する方法において、前記２値化し
   たのち境界線を求めるためのハフ変換処理にて、そのハ
   フ値のピークレベルが最大値または最大の近傍となるよ
   うに、前記しきい値を適宜変更する評価学習を実行する
   ことを特徴とするカラー情報による境界線の検出方法。