JP2944774B2

JP2944774B2 - 自動走行作業機における画像処理方法

Info

Publication number: JP2944774B2
Application number: JP3081945A
Authority: JP
Inventors: 泰治水倉; 渉中川
Original assignee: YANMAA NOKI KK
Current assignee: YANMAA NOKI KK
Priority date: 1991-03-20
Filing date: 1991-03-20
Publication date: 1999-09-06
Anticipated expiration: 2014-09-06
Also published as: JPH04293404A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、圃場に列状に植立され
た稲、麦、大豆等の当該列に沿って走行機体を走行させ
て刈取り脱穀する等のいわゆる汎用コンバインまたは普
通形コンバイン等の収穫機や、ゴルフ場のフェアウエイ
を形成するために芝生を刈り取る自動走行芝刈機等、自
動走行作業機を、前記稲等の被検出物の列に沿うように
倣って走行させるために、これらの被検出物を撮像した
画像データを画像処理する方法に関するものである。

【０００２】

【従来の技術】圃場に植立した稲列を複数条づつ刈取る
ように、コンバインを自動操舵走行させるに際して、未
刈取地と既刈取地との両区域を判別する技術として、本
出願人は、先に特開平２−１１０６０４号公報や特開平
３−１９６０７号公報で、コンバインに搭載したカラー
ビデオカメラで、コンバインの進行前方向の未刈取地と
既刈取地との両範囲にわたって撮像して得られた画像デ
ータの青色成分（Ｇ）、赤色成分（Ｒ）、緑色成分
（Ｂ）の各色成分の信号値を、所定の２値化しきい値か
らなる条件式を用いる等して２値化処理し、前記未刈取
地を未刈取領域とし、既刈取地を既刈取領域とするよう
に判別する技術を提案した。

【０００３】

【発明が解決しようとする課題】しかしながら、例えば
コンバインによる穀稈刈取り作業において、刈取りして
脱穀した後の穀稈（排藁）を短く切り刻んで既刈取地に
放出してばらまくとか、芝刈り機で、刈り取った芝を既
刈取地に放出するというような作業を実行していると、
未刈取地における植立した穀稈と既刈取地側に放出され
た直後の排藁等とが同系色であるから、前記のしきい値
による条件式で２値化すると、未刈取地と既刈取地との
境界近傍では、それらを対応する領域（未刈取領域，既
刈取領域）として判別することが困難となるという問題
があった。本願発明はこれらの問題を解決することを目
的とするものである。

【０００４】

【課題を解決するための手段】この目的を達成するた
め、本願発明は、走行機体に搭載したカラー撮像手段に
て、作業場における既刈取地と未刈取地とに跨がって撮
像して得られた画像のうちの任意の一画面の画像データ
を、画像メモリに記憶し、この画像メモリ中から、適宜
範囲の既刈取サンプル領域と未刈取サンプル領域とを抽
出し、この二つのサンプル領域の各々について、Ｒ，
Ｇ，Ｂ三原色の色成分サンプリング信号値を求め、これ
らのサンプリング信号値を２値化処理して、前記一画面
の画像データ全体について、既刈取領域と未刈取領域と
この両領域と判別できない曖昧領域とに分別する領域化
処理を実行する一方、前記両サンプル領域の三原色の色
成分サンプリング信号値を学習データとして、ニューラ
ルネットワークを構築し、前記曖昧領域を既刈取領域と
未刈取領域とに分別することを特徴とする自動走行作業
機における画像処理方法を採用したものである。

【０００５】

【実施例】次に本発明を汎用コンバインに適用した実施
例について説明すると、走行作業機であるコンバインは
走行機体１の下面に左右一対の走行クローラ２式の走行
装置３，３を備え、走行機体１の前進方向に向かって右
側前部には座席付きの操縦部４を配設し、その後方には
エンジン（図示せず）及び穀粒蓄積用のタンク５を備
え、走行機体１の左側には、円周外面にダブルピッチの
スクリュー板と適宜個数の扱歯とを植設した前後長手の
扱胴６ａ等を内蔵した脱穀部６と、その下方に受け網８
と、シーブ等による揺動選別装置９と、唐箕フアン１０
の風による風選別装置とを備える。

【０００６】走行機体１の前面には、前記脱穀部６の前
部開口に連通する角筒状のフイーダハウス１１を昇降用
油圧シリンダ１２を介して走行機体に対して昇降自在に
装着してあり、該フイーダハウス１１の内部には、左右
長手の搬送板を左右一対のチエンに適宜間隔で取付けた
チエンコンベヤ１３を配設し、このチエンコンベヤ１３
にて後述の刈取前処理部１５からの刈取穀稈を前記脱穀
部６に搬送する。符号７ａは、二番樋（図示せず）から
の穀粒を脱穀部６に還元するように搬送する二番還元
筒、符号７ｂは前記タンク５内の穀粒を外部に排出する
ための排出筒である。

【０００７】刈取前処理部１５は、走行機体１の全幅に
わたって左右に延びるバケット状のプラットホーム１７
と、該プラットホーム１７に走行機体１の全幅にわたっ
て設けたタインバー１８付きのリール１９とから成り、
プラットホーム１７の下面側には同じく左右長手のバリ
カン状の刈刃２０を有し、プラットホーム１７の底板上
方には、矢印方向に回転する横長の掻き込み用のオーガ
２２を備えてあり、伝動部を介して前記リール１９及び
オーガ２２を回転駆動し、且つ刈刃２０を駆動する。符
号２１は刈取前処理部１５の左右両端から前向きに突出
する分草体であり、また、前記リール１９は、穀稈の倒
伏状態等に応じて前後移動調節及び上下揺動調節自在に
構成されている。

【０００８】図３はエンジン１６から前記各部への動力
伝達を模式的に示した伝動系統図で、符号２３は走行ク
ラッチ装置、符号２４は脱穀クラッチ装置、符号２５は
刈取りクラッチ装置を各々示す。走行クラッチ装置２３
の駆動下流側には、左右一対の油圧ポンプ２６と油圧モ
ータ２７を設け、これから前記一対の走行クローラ２，
２の駆動輪を左右互いに独立的に駆動する。刈取前処理
部１５に対する動力伝達は刈取りクラッチ装置２５の駆
動下流側でフイーダハウス１１内のチエンスコンベヤ１
３を駆動してその掻き込み板でプラットホーム１７から
の刈取り穀稈を脱穀装置６の前部に搬送する。他方、チ
エンを介して刈取部変速機構２８に動力伝達して、掻き
込みオーガ２２、刈刃２０及びリール１９を各々所定の
速度で駆動するものである。

【０００９】符号３０は、図１等に示すように、圃場Ｈ
に適宜間隔にて縦横に植立した被検出物である稲の穀稈
で、この縦横に適宜間隔で植立した穀稈３０に向かって
コンバイン１を前進させてこれらを刈取るものである。
前記操縦部４のキヤビン４ａ前部上端に取付くビデオカ
メラ等のカラー撮像手段３１は、レンズ系を通して得ら
れた画像を電気信号に置き換えるＣＣＤ固体撮像素子等
の二次元撮像デバイスからなる。該カラー撮像手段３１
は、既刈取地と未刈取地との両領域に跨がった範囲を撮
像できるように、斜め下前向きに取付けられている。

【００１０】また、図４は、本発明の制御手段のブロッ
ク図を示し、符号３２は前記撮像手段３１のアナログ入
力信号をデジタル信号に変換するＡ／Ｄ変換器、符号３
３は画像メモリ、符号３４は画像処理用中央処理装置
（ＣＰＵ）で、該中央処理装置にはそこで演算処理する
のに必要な制御プログラムや初期値を予め記憶しておく
読み取り専用メモリ（ＲＯＭ）や、演算処理するのに用
いられる各種データを一時的に記憶するための読み書き
可能メモリ（ＲＡＭ）等が内蔵されている。符号３５は
後述するニューラルネットワーク処理などを実行するた
めの中央制御装置（ＣＰＵ）であり、符号３６は中央制
御装置３５で演算処理するのに必要な制御プログラムや
初期値を予め記憶しておく読み取り専用メモリ（ＲＯ
Ｍ）、符号３７は演算処理するのに用いられる各種デー
タを一時的に記憶するための読み書き可能メモリ（ＲＡ
Ｍ）、符号３８は入出力（Ｉ／Ｏ）インターフェイスユ
ニット、符号３９はバスを各々示す。なお、中央制御装
置３５の指令信号に従って駆動される油圧切換弁等の電
磁ソレノイドで代表される操舵アクチェータ４０にて走
行機体２を左右に操舵することができる。

【００１１】次に本発明の画像処理方法を、フローチャ
ートに従って説明する。図５は圃場Ｈにおける穀稈３０
が植立した未刈取地Ｍ１と穀稈を刈取った後の既刈取地
Ｋ１とを側面図で示す。未刈取地Ｍ１と既刈取地Ｋ１と
の境界近傍部分であって既刈取地側には排藁４１を短く
刻んでコンバインから放出した部分である中間地域Ｃ１
がある。図６はカラー撮像手段３１で前記未刈取地Ｍ１
と既刈取地Ｋ１とに跨がって撮像した１画面（１フレー
ム）を示す。図６で符号Ｍの箇所は明らかに未刈取地で
あると判断できる未刈取領域、符号Ｋの箇所は明らかに
既刈取地であると判断できる既刈取領域、符号Ｃの箇所
は前記中間地域Ｃ１の箇所に対応する曖昧領域である。

【００１２】コンバインの稲刈取り作業での既刈取地Ｋ
１と未刈取地Ｍ１との境界線を判別するためには、ＲＧ
Ｂ表色系〔赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の原色
光とし、加色により白色が得られる加法混色〕の各色成
分にて圃場の特徴を抽出する。

【００１３】そのため、図７に示す３値化サブルーチン
のフローチャートに示すように、ステップ７０１でカラ
ー撮像手段３１で撮像した１画面（１フレーム）分の画
像データを画像メモリ３３に入力し、記憶させる。ここ
で、カラー撮像手段３１での１フレームは縦横に２５６
×２５６の画素からなり、且つ各画素について前記Ｒ，
Ｇ，Ｂの三原色の検出部を有する。つまり、Ｒ，Ｇ，Ｂ
の各色成分について２５６×２５６の画素が有る。また
各画素について６４階調である。なお、各色成分の画素
（ピクセル）についての座標（ｉ，ｊ）位置は、画面Ｓ
Ｃの左上端角を座標原点とする（図６参照）。横軸方
向（列）の座標位置をｉ、縦軸方向（行）の座標位置を
ｊとする。従って、１フレーム中のＲ，Ｇ，Ｂの各色
成分についての検出値（データ）は、Ｒ（赤色）について、Ｒ00, Ｒ01, Ｒ02, ‥‥，Ｒij,
‥‥, Ｒ256 256 Ｇ（緑色）について、Ｇ00, Ｇ01, Ｇ02, ‥‥，Ｇij,
‥‥, Ｇ256 256 Ｂ（青色）について、Ｂ00, Ｂ01, Ｂ02, ‥‥，Ｂij,
‥‥, Ｂ256 256 となる。

【００１４】次いでステップ７０２で、図６に示すよう
に画面ＳＣについて、既刈取領域Ｋに相当する箇所の一
部を指定してサンプル領域Ｋａを設定すると共に、未刈
取領域Ｍに相当する箇所のについてもサンプル領域Ｍａ
を設定する。これらのサンプル領域の設定は、ソフト的
なウインドウ処理で実行することが好ましい。即ち、カ
ラー撮像手段３１で前記曖昧地域Ｃ１が画面の左右略中
央で前後（上下）に長手になるように撮像すると、画面
ＳＣの左右両端部寄り部位では、明らかに既刈取地Ｋ１
や未刈取地Ｍ１と判断でき、且つ、紛らわしくないの
で、そのような箇所に設定する。

【００１５】ステップ７０３で、前記各サンプル領域Ｍ
ａ，ＫａにおけるＲ，Ｇ，Ｂの各色成分サンプリング信
号の値から、後述する既刈取領域Ｋと未刈取領域Ｍとに
分別するためのしきい値を設定する。このしきい値は、
既刈取領域Ｋにおける各色成分について高レベルのもの
Ｒkshl，Ｇkshl，Ｂkshlと、低レベルのものＲksll，Ｇ
ksll，Ｂksllを下記の演算にて求める。この演算は、例
えば既刈取領域でのサンプル領域Ｋａの全部の画素につ
いてのＲ色成分サンプリング信号値の平均値Ｒkav と標
準偏差値Ｒkstvとを用いる。Ｒkshl＝Ｒkav ＋Ｒkstv Ｒksll＝Ｒkav −Ｒkstv Ｇkshl＝Ｇkav ＋Ｇkstv Ｇksll＝Ｇkav −Ｇkstv Ｂkshl＝Ｂkav ＋Ｂkstv Ｂksll＝Ｂkav −Ｂkstv 同様にして、未刈取領域Ｍにおける、各色成分について
高レベルのものＲmshl，Ｇmshl，Ｂmshlと、低レベルの
ものＲmsll，Ｇmsll，Ｂmsllを下記の演算にて求める。
この演算は、例えば未刈取領域でのサンプル領域Ｍａの
全部の画素についてのＲ色成分サンプリング信号値の平
均値Ｒmav と標準偏差値Ｒmstvとを用いる。Ｒmshl＝Ｒmav ＋Ｒmstv Ｒmsll＝Ｒmav −Ｒmstv Ｇmshl＝Ｇmav ＋Ｇmstv Ｇmsll＝Ｇmav −Ｇmstv Ｂmshl＝Ｂmav ＋Ｂmstv Ｂmsll＝Ｂmav −Ｂmstv

【００１６】次にステップ７０４では、前記１フレーム
全体について、各色成分ごとに、その検出値から２値化
処理を実行する。ここで２値化処理とは、各色成分の画
素の検出値（データ）が前述の高いしきい値と低いしき
い値とによる条件式に適合するとき、出力値を「１」と
し、前記条件式に適合しないと、出力値を「０」とする
ものである。既刈取領域としての適合性条件式（１）
は、もし、Ｒksll＜Ｒij＜Ｒkshlであるなら、Ｒkij ＝１もし、Ｒksll＜Ｒij＜Ｒkshlでないなら、Ｒkij＝０もし、Ｇksll＜Ｇij＜Ｇkshlであるなら、Ｇkij＝１もし、Ｇksll＜Ｇij＜Ｇkshlでないなら、Ｇkij＝０もし、Ｂksll＜Ｂij＜Ｂkshlであるなら、Ｂkij＝１もし、Ｂksll＜Ｂij＜Ｂkshlでないなら、Ｂkij＝０とする。同様に、未刈取領域としての適合性条件式
（２）は、もし、Ｒmsll＜Ｒij＜Ｒmshlであるなら、Ｒmij ＝１もし、Ｒmsll＜Ｒij＜Ｒmshlでないなら、Ｒmij＝０もし、Ｇmsll＜Ｇij＜Ｇmshlであるなら、Ｇmij＝１もし、Ｇmsll＜Ｇij＜Ｇmshlでないなら、Ｇmij＝０もし、Ｂmsll＜Ｂij＜Ｂmshlであるなら、Ｂmij＝１もし、Ｂmsll＜Ｂij＜Ｂmshlでないなら、Ｂmij＝０
とする。

【００１７】次にステップ７０５で、１フレームの画像
データ全体について、既刈取領域Ｋと未刈取領域Ｍと、
そのいずれにも属さない曖昧領域Ｃとの３つの領域に分
別する。この場合、前記２値化処理で得られた各画素の
「１」と「０」との２値条件式（１）と（２）の結果を
用いて、下記条件式（３），（４）を設定する。条件式
（３）は、もし、（Ｒkij ＝１、且つＧkij ＝１、且つ
Ｂkij ＝１）のとき、Ｋaij ＝１とする。もし、（Ｒki
j ＝１、且つＧkij ＝１、且つＢkij ＝１）でないと
き、Ｋaij ＝０とする。ここで、Ｋaij ＝１とは、座標
（ｉ，ｊ）の画素について、既刈取領域Ｋとして適合す
ることを意味し、Ｋaij ＝０の場合には適合しないこと
を意味する。同様にして条件式（４）は、もし、（Ｒmi
j ＝１、且つＧmij ＝１、且つＢmij ＝１）のとき、Ｍ
ａij＝１とする。もし、（Ｒmij ＝１、且つＧmij ＝
１、且つＢmij ＝１）でないとき、Ｍaij ＝０とする。
ここで、Ｍaij ＝１とは、座標（ｉ，ｊ）の画素につい
て、未刈取領域Ｍとして適合することを意味し、Ｍaij
＝０の場合は適合しないことを意味する。前記条件式
（３）および（４）から、Ｋaij ＝１で且つＭaij ＝０
である座標の部分を、既刈取領域Ｋとする。そして、Ｋ
aij ＝０で且つＭaij ＝０である座標の部分を、曖昧領
域Ｃとする。さらに、Ｋaij ＝０で且つＭaij ＝１であ
る座標の部分を、未刈取領域Ｍとするのである。これら
の結果を示す図８において、の領域は明らかに既刈取
領域Ｋに属する。の領域は明らかに未刈取領域Ｍに属
する。の領域は前記のいずれに属するか判別できない
曖昧領域Ｃである。

【００１８】次にステップ７０６では、後述のバックプ
ロパゲーションニューラルネットワークによる学習を実
行し、曖昧領域Ｃ中の各画素のデータが、既刈取領域Ｋ
に属するか、未刈取領域Ｍに属するかに分別する。この
ようにしてニューラルネットワークにて得られた未刈取
領域と既刈取領域と、前記ステップ７０５で既に得られ
た未刈取領域と既刈取領域とを画面上で合成すれば、曖
昧領域Ｃについてもハッキリと未刈取地と、既刈取地と
に分別できる（ステップ７０７）。次いでステップ７０
８では、前記学習したニューラルネットワークのオフセ
ット値や結合係数等をＲＡＭに記憶しておく。ステップ
７０９では、同一圃場における異なる箇所の画像データ
を入力して、その箇所の未刈取地と既刈取地と境界を分
別するようにするのである。

【００１９】なお、前記既刈取地Ｋ１と未刈取地Ｍ１と
の境界線に相当する仮想線を決定すべくハフ変換にて演
算処理し、その仮想線に沿うように操向制御を実行すれ
ば良い。この場合、略一直線状に走行しながら刈り取る
箇所では、走行速度が早いので分別処理も迅速に実行す
る必要があるので、前記２値化処理だけで未刈取領域と
既刈取領域とに分別する処理を実行する。そして、未刈
取地のコーナー部分でコンバインの走行方向を変更する
部分では、そのコーナー部分の刈取りを正確に行う必要
があるから、前記の２値化処理を介して既刈取領域と未
刈取領域と曖昧領域との３つの領域化処理およびニュー
ラルネットワークの実行の組合せで、画像の合成を実行
して未刈取領域と既刈取領域との分別を実行するように
しても良い。

【００２０】次にバックプロパゲーションニューラルネ
ットワークによる学習について説明する。ニューラルネ
ットワークのサブルーチンフローチャートを図１０に示
す。本実施例でのバックプロパゲーション学習法は教師
付き学習方法であり、入力層Ｉ→中間層→出力層から成
る３層構造の階層型の構造をしたニューラルネットに対
して実行する。例えば、学習すべき箇所（領域）は、未
刈取領域でのサンプル領域Ｍａが、座標a1（5 ，150),a
2(30 ,200)の矩形範囲であるとすると、ｉ＝５〜３０，
ｊ＝１５０〜２００となる。Ｒ，Ｇ，Ｂの各々につい
て２５×５０（個）のサンプリング信号が得られる（Ｒ
について図９参照）。同様に、既刈取領域でのサンプル
領域Ｋａが、座標b1（205 ，150),b2(230 ,200) の矩形
範囲であるとすると、ｉ＝５〜３０，ｊ＝１５０〜２０
０となる。サンプリング信号については、３×３の画素
のマトリックスをｉ方向に１駒ずつずらし、またｊ方向
に１駒ずつずらしてサンプリングする。いわゆるラスタ
走査のように前記９つの画素からなるブロックを移動さ
せて後述の一つのニューラルネットに入力する。

【００２１】本実施例でのニューラルネット構造におけ
る入力層ユニットＰの数は、２７個であり、図６におけ
るサンプル領域内の３×３の画素毎について、Ｒ（赤
色）、Ｇ（緑色）、Ｂ（青色）の各色成分信号値データ
を学習用データとして用いる。中間層ユニットＱの数は
９個、出力層ユニットＳの数は２個である。図１１はニ
ューラルネットの構造を図示したものである。

【００２２】具体的な学習方法は、次のように実行す
る。まず未刈取領域のサンプル領域Ｍａについて、(な
お、以下の文章中の記号のうち、｛｝で囲まれるも
のは、複数のユニットについてをいう）。〔１〕ニューラルネットワークの状態を決める結合係数
｛WPQ ｝，｛WQS ｝とオフセット値｛θP ｝，｛θQ ｝
をそれぞれ小さな値の乱数値で初期化する。〔２〕サンプル領域Ｍａのデータを最初の学習データと
する。〔３〕学習データの値を入力層ユニットＰの出力｛Ｐou
t ｝に入れ、入力層から中間層への結合係数｛WPQ ｝と
中間層ユニットＱのオフセット値θP とを用いて、中間
層ユニットへの入力値Ｑinを求める。この入力値Ｑin
と、ｆ（Ｘ）＝１／（１＋exp(−Ｘ））のような、シグ
モイド関数ｆ（Ｘ）により、中間層ユニットＱの出力値
Ｑout を求める。なお、入力層ユニットＰの出力Ｐout
は、Ｐout ＝１／（１＋exp （−（Ｘ−θ）／Ｔ） ‥‥（５）式ここで、Ｘ＝W1*R1ij ＋W2*R2ij ＋W9*R9ij＋W10*G1ij
‥‥ ＋W27*B9ij（ここで、各色成分の階調は６４で
あるので、Rnijは０〜６３の整数とし、Ｇ，Ｂについて
も同様とする。）W1,W2,‥‥W27 は結合係数で重みづけ
である。θは学習によって変化するオフセット値であ
り、Ｔは、ボルツマンマシンによるエネルギー関数の温
度パラメータで、実施例ではＴ＝１とした。〔４〕中間層ユニットの出力値｛Ｑout ｝と、中間層か
ら出力層Ｓへの結合係数｛WQS ｝と、出力層Ｑのオフセ
ット値θQ とを用いて、出力層ユニットＳ１，Ｓ２の各
出力値Ｓout を求める。中間層ユニットＱの出力Ｑout
も、前記（５）式において、Ｐout をＸとして同様の計
算式から導く。〔５〕学習における教師信号を、出力層ユニットＳ１に
ついてはＳ１out ＝１とし、出力層ユニットＳ２につい
てはＳ２out ＝０とする。各々の出力層ユニットについ
て、教師信号と出力層の出力値との差から、出力層のユ
ニットＳ１につながる結合係数と中間層ユニットＱのオ
フセットに対する誤差δs1を求める。出力層ユニットＳ
２についても同様に誤差δs2を求める。〔６〕誤差δs1と中間層から出力層への結合係数｛WQS
｝と中間層の出力値Ｑout とから、中間層ユニットＱ
につながる結合係数と中間層ユニットのオフセット値θ
P に対する誤差σq を求める。〔７〕〔５〕で求めた出力層ユニットＳ１での誤差σs1
と中間層ユニットＱの出力Ｑout と定数αとの積を加算
することで、中間層ユニットＱから出力層ユニットＳ１
につながる結合係数WQS を修正する。また、誤差σs1と
定数βとの積を加算することで、出力層ユニットＳ１の
オフセット値θQ を修正する。同様に出力層ユニットＳ
２についても求める。〔８〕中間層ユニットＱでの、誤差σq と入力層ユニッ
トＰの出力値Ｐout と定数αとの積を加算することで、
入力層ユニットＰから中間層ユニットＱにつながる結合
係数WPQ を修正する。また、誤差σq と定数βとの積を
加算することで、中間層ユニットＱのオフセット値θP
を修正する。

〔９〕次の学習データを入力する。〔１０〕学習データが終了するまで〔３〕に戻る。〔１１〕学習繰り返し数を更新する。〔１２〕入力層ユニットの出力値Ｐout と出力層ユニッ
トの出力Ｓout との差が許容誤差以下になった時点で学
習を終了する。〔１３〕学習繰り返し回数が制限数以下であれば、
〔２〕に戻る。

【００２３】以上の処理を図９のフローチャートで示し
た。最終の入力層ユニットＰでは、その出力値Ｐout と
教師信号とを比較して誤差σs1及び誤差σq を逆伝搬さ
せて重みを修正し、学習を行う。前記と同様の処理を、
既刈取領域のサンプル領域Ｋａについても実行する。こ
の場合の教師信号はＳ１out ＝０，Ｓ２out ＝１として
学習させる。前述のように、前記各サンプル領域に対す
る２値化処理の結果を教師信号に利用すれば、いちいち
外部から教師信号を入力する必要がなく便利である。

【００２４】なお、一つの圃場内で外側から順に平面視
略矩形状に刈り取る場合、その４辺を走行しつつ刈り取
るようにコンバインの走行方向が大きく変更（例えば略
９０°）されるごとに、その刈取り辺ごとに前記の未刈
取領域と既刈取領域とのサンプリングを実行して、前記
の２値化処理のしきい値の設定およびニューラルネット
ワークのための学習データを得るようにしても良い。

【００２５】

【発明の効果】上述のように、本発明に従えば、被検査
物である植物の種類の相違や被検査物に対する太陽光の
当たり具合の変化が大きいことにより、従来の２値化処
理だけでは分別できなかった曖昧領域を、未刈取領域と
既刈取領域とに分別できるので、操向操作の精度が向上
する。

【図面の簡単な説明】

【図１】コンバインの側面図である。

【図２】コンバインの平面図である。

【図３】コンバイン伝動系を示すスケルトン図である。

【図４】制御装置のブロック図である。

【図５】圃場の未刈取地と既刈取地とを側面から見た図
である。

【図６】１フレームにおける未刈取領域と既刈取領域と
曖昧領域との部分を示す説明図である。

【図７】２値化処理のフローチャート

【図８】３領域化の説明図である。

【図９】Ｒ（赤色）のサンプリング信号についての画素
マトリックスを示す図である。

【図１０】バックプロパゲーション法のフローチャート
である。

【図１１】ニューラルネットワークの構造を示す図であ
る。

【符号の説明】

１走行機体３１カラー撮像手段３４画像処理用中央処理装置３５中央制御装置３６読み取り専用メモリ（ＲＯＭ）３７読み書き可能メモリ（ＲＡＭ）３８入出力インターフェイス３９バス

フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ０６Ｆ 15/18 Ｇ０６Ｆ 15/18 Ｇ０６Ｔ 1/00 Ｇ０９Ｇ 5/04 Ｇ０９Ｇ 5/04 Ｇ０６Ｆ 15/62 ３８０ // Ｇ０６Ｔ 7/00 15/70 ３１０ (58)調査した分野(Int.Cl.⁶，ＤＢ名) A01B 69/00 A01D 41/12 G05B 21/02 G05D 1/02 G06F 15/18 G06T 1/00 G09G 5/04 G06T 7/00

Claims

(57)【特許請求の範囲】

【請求項１】走行機体に搭載したカラー撮像手段に
て、作業場における既刈取地と未刈取地とに跨がって撮
像して得られた画像のうちの任意の一画面の画像データ
を、画像メモリに記憶し、この画像メモリ中から、適宜
範囲の既刈取サンプル領域と未刈取サンプル領域とを抽
出し、この二つのサンプル領域の各々について、Ｒ，
Ｇ，Ｂ三原色の色成分サンプリング信号値を求め、これ
らのサンプリング信号値を２値化処理して、前記一画面
の画像データ全体について、既刈取領域と未刈取領域と
この両領域と判別できない曖昧領域とに分別する領域化
処理を実行する一方、前記両サンプル領域の三原色の色
成分サンプリング信号値を学習データとしてニューラル
ネットワークを構築し、前記曖昧領域を既刈取領域と未
刈取領域とに分別することを特徴とする自動走行作業機
における画像処理方法。