JP2944773B2 - 自動走行作業機における画像処理方法 - Google Patents
自動走行作業機における画像処理方法Info
- Publication number
- JP2944773B2 JP2944773B2 JP3081944A JP8194491A JP2944773B2 JP 2944773 B2 JP2944773 B2 JP 2944773B2 JP 3081944 A JP3081944 A JP 3081944A JP 8194491 A JP8194491 A JP 8194491A JP 2944773 B2 JP2944773 B2 JP 2944773B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- cut
- image
- already
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 description 12
- 230000008878 coupling Effects 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 9
- 238000005859 coupling reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 241001125929 Trisopterus luscus Species 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 235000013339 cereals Nutrition 0.000 description 4
- 240000007594 Oryza sativa Species 0.000 description 3
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- 238000007790 scraping Methods 0.000 description 3
- 239000010902 straw Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 235000010469 Glycine max Nutrition 0.000 description 1
- 240000003483 Leersia hexandra Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Feedback Control In General (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Guiding Agricultural Machines (AREA)
- Combines (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、圃場に列状に植立され
た稲、麦、大豆等の当該列に沿って走行機体を走行させ
て刈取り脱穀する等のいわゆる汎用コンバインまたは普
通形コンバイン等の収穫機や、ゴルフ場のフェアウエイ
を形成するために芝生を刈り取る自動走行芝刈機等、自
動走行作業機を、前記稲等の被検出物の列に沿うように
倣って走行させるために、これらの被検出物を撮像した
画像データを画像処理する方法に関するものである。
た稲、麦、大豆等の当該列に沿って走行機体を走行させ
て刈取り脱穀する等のいわゆる汎用コンバインまたは普
通形コンバイン等の収穫機や、ゴルフ場のフェアウエイ
を形成するために芝生を刈り取る自動走行芝刈機等、自
動走行作業機を、前記稲等の被検出物の列に沿うように
倣って走行させるために、これらの被検出物を撮像した
画像データを画像処理する方法に関するものである。
【０００２】
【従来の技術】圃場に植立した稲列を複数条づつ刈取る
ように、コンバインを自動操舵走行させるに際して、未
刈取地と既刈取地との両区域を判別する技術として、本
出願人は、先に特開平２−１１０６０４号公報や特開平
３−１９６０７号公報で、コンバインに搭載したカラー
ビデオカメラで、コンバインの進行前方向の未刈取地と
既刈取地との両範囲にわたって撮像して得られた画像デ
ータの青色成分（Ｇ）、赤色成分（Ｒ）、緑色成分
（Ｂ）の各色成分の信号値を、所定の２値化しきい値か
らなる条件式を用いる等して２値化処理し、前記未刈取
地を未刈取領域とし、既刈取地を既刈取領域とするよう
に判別する技術を提案した。
ように、コンバインを自動操舵走行させるに際して、未
刈取地と既刈取地との両区域を判別する技術として、本
出願人は、先に特開平２−１１０６０４号公報や特開平
３−１９６０７号公報で、コンバインに搭載したカラー
ビデオカメラで、コンバインの進行前方向の未刈取地と
既刈取地との両範囲にわたって撮像して得られた画像デ
ータの青色成分（Ｇ）、赤色成分（Ｒ）、緑色成分
（Ｂ）の各色成分の信号値を、所定の２値化しきい値か
らなる条件式を用いる等して２値化処理し、前記未刈取
地を未刈取領域とし、既刈取地を既刈取領域とするよう
に判別する技術を提案した。
【０００３】
【発明が解決しようとする課題】しかしながら、例えば
コンバインによる穀稈刈取り作業において、刈取りして
脱穀した後の穀稈（排藁）を短く切り刻んで既刈取地に
放出してばらまくとか、芝刈り機で、刈り取った芝を既
刈取地に放出するというような作業を実行していると、
未刈取地における植立した穀稈と既刈取地側に放出され
た直後の排藁等とが同系色であるから、前記のしきい値
による条件式で２値化すると、未刈取地と既刈取地との
境界近傍では、それらを対応する領域（未刈取領域，既
刈取領域）として判別することが困難となるという問題
があった。そこで、本出願人は、ニューラルネットを利
用して、１画面の画像データを未刈取領域と既刈取領域
とに分別することを開発したが、ニューラルネットワー
クにおける学習データの種類が多すぎると、ネットワー
クのユニット数が多くなり、学習時間が長くなり過ぎる
欠点が生じる。また、ニューラルネットの学習結果が収
束しない事態が生じる。さらに、学習データとして特徴
的な部分のものを与えたとき、その特徴的な部分からか
け離れた異質の部分（例えば、コンバインの走行機体が
圃場面に落とした影の部分が画像データに入っていた場
合）については、どちらの領域に判断されるか分から
ず、誤った学習をしてしまうおそれもあった。本願発明
はこれらの問題を解決することを目的とするものであ
る。
コンバインによる穀稈刈取り作業において、刈取りして
脱穀した後の穀稈（排藁）を短く切り刻んで既刈取地に
放出してばらまくとか、芝刈り機で、刈り取った芝を既
刈取地に放出するというような作業を実行していると、
未刈取地における植立した穀稈と既刈取地側に放出され
た直後の排藁等とが同系色であるから、前記のしきい値
による条件式で２値化すると、未刈取地と既刈取地との
境界近傍では、それらを対応する領域（未刈取領域，既
刈取領域）として判別することが困難となるという問題
があった。そこで、本出願人は、ニューラルネットを利
用して、１画面の画像データを未刈取領域と既刈取領域
とに分別することを開発したが、ニューラルネットワー
クにおける学習データの種類が多すぎると、ネットワー
クのユニット数が多くなり、学習時間が長くなり過ぎる
欠点が生じる。また、ニューラルネットの学習結果が収
束しない事態が生じる。さらに、学習データとして特徴
的な部分のものを与えたとき、その特徴的な部分からか
け離れた異質の部分（例えば、コンバインの走行機体が
圃場面に落とした影の部分が画像データに入っていた場
合）については、どちらの領域に判断されるか分から
ず、誤った学習をしてしまうおそれもあった。本願発明
はこれらの問題を解決することを目的とするものであ
る。
【０００４】
【課題を解決するための手段】この目的を達成するた
め、本願発明は、走行機体に搭載したカラー撮像手段に
て、作業場における既刈取地と未刈取地とに跨がって撮
像して得られた画像のうちの任意の一画面の画像データ
を、画像メモリに記憶し、この画像メモリ中から、適宜
範囲の既刈取サンプル領域と未刈取サンプル領域とを抽
出し、この二つのサンプル領域の各々について、Ｒ，
Ｇ，Ｂ三原色の色成分サンプリング信号値を求め、これ
らのサンプリング信号値を２値化処理して、前記一画面
の画像データ全体について、既刈取領域と、未刈取領域
と、それ以外の第３領域とに分別する領域化処理を実行
した後、前記両サンプル領域の三原色の色成分サンプリ
ング信号値を学習データとしてニューラルネットワーク
を構築し、前記第３領域のうち２値化しきい値のレベル
が一定範囲外の異質領域に該当する画像データを除去し
た残りの画像データについて、既刈取領域と未刈取領域
とに分別することを特徴とする自動走行作業機における
画像処理方法を採用したものである。
め、本願発明は、走行機体に搭載したカラー撮像手段に
て、作業場における既刈取地と未刈取地とに跨がって撮
像して得られた画像のうちの任意の一画面の画像データ
を、画像メモリに記憶し、この画像メモリ中から、適宜
範囲の既刈取サンプル領域と未刈取サンプル領域とを抽
出し、この二つのサンプル領域の各々について、Ｒ，
Ｇ，Ｂ三原色の色成分サンプリング信号値を求め、これ
らのサンプリング信号値を２値化処理して、前記一画面
の画像データ全体について、既刈取領域と、未刈取領域
と、それ以外の第３領域とに分別する領域化処理を実行
した後、前記両サンプル領域の三原色の色成分サンプリ
ング信号値を学習データとしてニューラルネットワーク
を構築し、前記第３領域のうち２値化しきい値のレベル
が一定範囲外の異質領域に該当する画像データを除去し
た残りの画像データについて、既刈取領域と未刈取領域
とに分別することを特徴とする自動走行作業機における
画像処理方法を採用したものである。
【０００５】
【実施例】次に本発明を汎用コンバインに適用した実施
例について説明すると、走行作業機であるコンバインは
走行機体１の下面に左右一対の走行クローラ２式の走行
装置３，３を備え、走行機体１の前進方向に向かって右
側前部には座席付きの操縦部４を配設し、その後方には
エンジン（図示せず）及び穀粒蓄積用のタンク５を備
え、走行機体１の左側には、円周外面にダブルピッチの
スクリュー板と適宜個数の扱歯とを植設した前後長手の
扱胴６ａ等を内蔵した脱穀部６と、その下方に受け網８
と、シーブ等による揺動選別装置９と、唐箕フアン１０
の風による風選別装置とを備える。
例について説明すると、走行作業機であるコンバインは
走行機体１の下面に左右一対の走行クローラ２式の走行
装置３，３を備え、走行機体１の前進方向に向かって右
側前部には座席付きの操縦部４を配設し、その後方には
エンジン（図示せず）及び穀粒蓄積用のタンク５を備
え、走行機体１の左側には、円周外面にダブルピッチの
スクリュー板と適宜個数の扱歯とを植設した前後長手の
扱胴６ａ等を内蔵した脱穀部６と、その下方に受け網８
と、シーブ等による揺動選別装置９と、唐箕フアン１０
の風による風選別装置とを備える。
【０００６】走行機体１の前面には、前記脱穀部６の前
部開口に連通する角筒状のフイーダハウス１１を昇降用
油圧シリンダ１２を介して走行機体に対して昇降自在に
装着してあり、該フイーダハウス１１の内部には、左右
長手の搬送板を左右一対のチエンに適宜間隔で取付けた
チエンコンベヤ１３を配設し、このチエンコンベヤ１３
にて後述の刈取前処理部１５からの刈取穀稈を前記脱穀
部６に搬送する。符号７ａは、二番樋（図示せず）から
の穀粒を脱穀部６に還元するように搬送する二番還元
筒、符号７ｂは前記タンク５内の穀粒を外部に排出する
ための排出筒である。
部開口に連通する角筒状のフイーダハウス１１を昇降用
油圧シリンダ１２を介して走行機体に対して昇降自在に
装着してあり、該フイーダハウス１１の内部には、左右
長手の搬送板を左右一対のチエンに適宜間隔で取付けた
チエンコンベヤ１３を配設し、このチエンコンベヤ１３
にて後述の刈取前処理部１５からの刈取穀稈を前記脱穀
部６に搬送する。符号７ａは、二番樋（図示せず）から
の穀粒を脱穀部６に還元するように搬送する二番還元
筒、符号７ｂは前記タンク５内の穀粒を外部に排出する
ための排出筒である。
【０００７】刈取前処理部１５は、走行機体１の全幅に
わたって左右に延びるバケット状のプラットホーム１７
と、該プラットホーム１７に走行機体１の全幅にわたっ
て設けたタインバー１８付きのリール１９とから成り、
プラットホーム１７の下面側には同じく左右長手のバリ
カン状の刈刃２０を有し、プラットホーム１７の底板上
方には、矢印方向に回転する横長の掻き込み用のオーガ
２２を備えてあり、伝動部を介して前記リール１９及び
オーガ２２を回転駆動し、且つ刈刃２０を駆動する。符
号２１は刈取前処理部１５の左右両端から前向きに突出
する分草体であり、また、前記リール１９は、穀稈の倒
伏状態等に応じて前後移動調節及び上下揺動調節自在に
構成されている。
わたって左右に延びるバケット状のプラットホーム１７
と、該プラットホーム１７に走行機体１の全幅にわたっ
て設けたタインバー１８付きのリール１９とから成り、
プラットホーム１７の下面側には同じく左右長手のバリ
カン状の刈刃２０を有し、プラットホーム１７の底板上
方には、矢印方向に回転する横長の掻き込み用のオーガ
２２を備えてあり、伝動部を介して前記リール１９及び
オーガ２２を回転駆動し、且つ刈刃２０を駆動する。符
号２１は刈取前処理部１５の左右両端から前向きに突出
する分草体であり、また、前記リール１９は、穀稈の倒
伏状態等に応じて前後移動調節及び上下揺動調節自在に
構成されている。
【０００８】図３はエンジン１６から前記各部への動力
伝達を模式的に示した伝動系統図で、符号２３は走行ク
ラッチ装置、符号２４は脱穀クラッチ装置、符号２５は
刈取りクラッチ装置を各々示す。走行クラッチ装置２３
の駆動下流側には、左右一対の油圧ポンプ２６と油圧モ
ータ２７を設け、これから前記一対の走行クローラ２，
２の駆動輪を左右互いに独立的に駆動する。刈取前処理
部１５に対する動力伝達は刈取りクラッチ装置２５の駆
動下流側でフイーダハウス１１内のチエンスコンベヤ１
３を駆動してその掻き込み板でプラットホーム１７から
の刈取り穀稈を脱穀装置６の前部に搬送する。他方、チ
エンを介して刈取部変速機構２８に動力伝達して、掻き
込みオーガ２２、刈刃２０及びリール１９を各々所定の
速度で駆動するものである。
伝達を模式的に示した伝動系統図で、符号２３は走行ク
ラッチ装置、符号２４は脱穀クラッチ装置、符号２５は
刈取りクラッチ装置を各々示す。走行クラッチ装置２３
の駆動下流側には、左右一対の油圧ポンプ２６と油圧モ
ータ２７を設け、これから前記一対の走行クローラ２，
２の駆動輪を左右互いに独立的に駆動する。刈取前処理
部１５に対する動力伝達は刈取りクラッチ装置２５の駆
動下流側でフイーダハウス１１内のチエンスコンベヤ１
３を駆動してその掻き込み板でプラットホーム１７から
の刈取り穀稈を脱穀装置６の前部に搬送する。他方、チ
エンを介して刈取部変速機構２８に動力伝達して、掻き
込みオーガ２２、刈刃２０及びリール１９を各々所定の
速度で駆動するものである。
【０００９】符号３０は、図１等に示すように、圃場Ｈ
に適宜間隔にて縦横に植立した被検出物である稲の穀稈
で、この縦横に適宜間隔で植立した穀稈３０に向かって
コンバイン１を前進させてこれらを刈取るものである。
前記操縦部４のキヤビン４ａ前部上端に取付くビデオカ
メラ等のカラー撮像手段３１は、レンズ系を通して得ら
れた画像を電気信号に置き換えるＣＣＤ固体撮像素子等
の二次元撮像デバイスからなる。該カラー撮像手段３１
は、既刈取地と未刈取地との両領域に跨がった範囲を撮
像できるように、斜め下前向きに取付けられている。
に適宜間隔にて縦横に植立した被検出物である稲の穀稈
で、この縦横に適宜間隔で植立した穀稈３０に向かって
コンバイン１を前進させてこれらを刈取るものである。
前記操縦部４のキヤビン４ａ前部上端に取付くビデオカ
メラ等のカラー撮像手段３１は、レンズ系を通して得ら
れた画像を電気信号に置き換えるＣＣＤ固体撮像素子等
の二次元撮像デバイスからなる。該カラー撮像手段３１
は、既刈取地と未刈取地との両領域に跨がった範囲を撮
像できるように、斜め下前向きに取付けられている。
【００１０】また、図４は、本発明の制御手段のブロッ
ク図を示し、符号３２は前記撮像手段３１のアナログ入
力信号をデジタル信号に変換するＡ／Ｄ変換器、符号３
３は画像メモリ、符号３４は画像処理用中央処理装置
（ＣＰＵ）で、該中央処理装置にはそこで演算処理する
のに必要な制御プログラムや初期値を予め記憶しておく
読み取り専用メモリ（ＲＯＭ）や、演算処理するのに用
いられる各種データを一時的に記憶するための読み書き
可能メモリ（ＲＡＭ）等が内蔵されている。符号３５は
後述するニューラルネットワーク処理などを実行するた
めの中央制御装置（ＣＰＵ）であり、符号３６は中央制
御装置３５で演算処理するのに必要な制御プログラムや
初期値を予め記憶しておく読み取り専用メモリ（ＲＯ
Ｍ）、符号３７は演算処理するのに用いられる各種デー
タを一時的に記憶するための読み書き可能メモリ（ＲＡ
Ｍ）、符号３８は入出力（Ｉ／Ｏ）インターフェイスユ
ニット、符号３９はバスを各々示す。なお、中央制御装
置３５の指令信号に従って駆動される油圧切換弁等の電
磁ソレノイドで代表される操舵アクチェータ４０にて走
行機体２を左右に操舵することができる。
ク図を示し、符号３２は前記撮像手段３１のアナログ入
力信号をデジタル信号に変換するＡ／Ｄ変換器、符号３
３は画像メモリ、符号３４は画像処理用中央処理装置
（ＣＰＵ）で、該中央処理装置にはそこで演算処理する
のに必要な制御プログラムや初期値を予め記憶しておく
読み取り専用メモリ（ＲＯＭ）や、演算処理するのに用
いられる各種データを一時的に記憶するための読み書き
可能メモリ（ＲＡＭ）等が内蔵されている。符号３５は
後述するニューラルネットワーク処理などを実行するた
めの中央制御装置（ＣＰＵ）であり、符号３６は中央制
御装置３５で演算処理するのに必要な制御プログラムや
初期値を予め記憶しておく読み取り専用メモリ（ＲＯ
Ｍ）、符号３７は演算処理するのに用いられる各種デー
タを一時的に記憶するための読み書き可能メモリ（ＲＡ
Ｍ）、符号３８は入出力（Ｉ／Ｏ）インターフェイスユ
ニット、符号３９はバスを各々示す。なお、中央制御装
置３５の指令信号に従って駆動される油圧切換弁等の電
磁ソレノイドで代表される操舵アクチェータ４０にて走
行機体２を左右に操舵することができる。
【００１１】次に本発明の画像処理方法を、フローチャ
ートに従って説明する。図５は圃場Ｈにおける穀稈３０
が植立した未刈取地Ｍ１と穀稈を刈取った後の既刈取地
Ｋ１とを側面図で示す。図６はカラー撮像手段３１で前
記未刈取地Ｍ１と既刈取地Ｋ１とに跨がって撮像した１
画面（１フレーム）を示す。図６で符号Ｍの箇所は明ら
かに未刈取地であると判断できる未刈取領域、符号Ｋの
箇所は明らかに既刈取地であると判断できる既刈取領域
を示す。図６で符号Ｃの箇所は、既刈取地Ｋ１側にあっ
て、排藁を短く切り刻んで圃場Ｈに放出した部分であ
り、未刈取地Ｍ１と区別の困難な曖昧領域である。符号
Ｄの箇所は、太陽光線のために、コンバインの走行機体
１が圃場面に落とした影の部分であり、前記未刈取領域
Ｍ及び既刈取領域Ｋとは全く色調が異なる異質領域であ
る。一般には異質領域Ｄとしての影の部分は、黒く見え
る。前記曖昧領域Ｃと異質領域Ｄとの両方が、既刈取領
域Ｋ及び未刈取領域Ｍのいずれにも属しない第３領域と
なる。
ートに従って説明する。図５は圃場Ｈにおける穀稈３０
が植立した未刈取地Ｍ１と穀稈を刈取った後の既刈取地
Ｋ１とを側面図で示す。図６はカラー撮像手段３１で前
記未刈取地Ｍ１と既刈取地Ｋ１とに跨がって撮像した１
画面（１フレーム）を示す。図６で符号Ｍの箇所は明ら
かに未刈取地であると判断できる未刈取領域、符号Ｋの
箇所は明らかに既刈取地であると判断できる既刈取領域
を示す。図６で符号Ｃの箇所は、既刈取地Ｋ１側にあっ
て、排藁を短く切り刻んで圃場Ｈに放出した部分であ
り、未刈取地Ｍ１と区別の困難な曖昧領域である。符号
Ｄの箇所は、太陽光線のために、コンバインの走行機体
１が圃場面に落とした影の部分であり、前記未刈取領域
Ｍ及び既刈取領域Ｋとは全く色調が異なる異質領域であ
る。一般には異質領域Ｄとしての影の部分は、黒く見え
る。前記曖昧領域Ｃと異質領域Ｄとの両方が、既刈取領
域Ｋ及び未刈取領域Ｍのいずれにも属しない第３領域と
なる。
【００１２】コンバインの稲刈取り作業での既刈取地Ｋ
１と未刈取地Ｍ１との境界線を判別するためには、ＲＧ
Ｂ表色系〔赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の原色
光とし、加色により白色が得られる加法混色〕の各色成
分にて圃場の特徴を抽出する。
１と未刈取地Ｍ１との境界線を判別するためには、ＲＧ
Ｂ表色系〔赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の原色
光とし、加色により白色が得られる加法混色〕の各色成
分にて圃場の特徴を抽出する。
【００１３】そのため、図７に示す３値化サブルーチン
のフローチャートに示すように、ステップ７０１でカラ
ー撮像手段３１で撮像した１画面（１フレーム）分の画
像データを画像メモリ３３に入力し、記憶させる。ここ
で、カラー撮像手段３１での１フレームは縦横に２５６
×２５６の画素からなり、且つ各画素について前記Ｒ，
Ｇ，Ｂの三原色の検出部を有する。つまり、Ｒ，Ｇ，Ｂ
の各色成分について２５６×２５６の画素が有る。また
各画素について６４階調である。なお、各色成分の画素
（ピクセル）についての座標（ｉ，ｊ）位置は、画面Ｓ
Ｃの左上端角を座標原点とする（図６参照）。 横軸方
向（列）の座標位置をｉ、縦軸方向（行）の座標位置を
ｊとする。 従って、１フレーム中のＲ，Ｇ，Ｂの各色
成分についての検出値（データ）は、 Ｒ（赤色）について、Ｒ00, Ｒ01, Ｒ02, ‥‥，Ｒij, ‥‥, Ｒ256 256 Ｇ（緑色）について、Ｇ00, Ｇ01, Ｇ02, ‥‥，Ｇij, ‥‥, Ｇ256 256 Ｂ（青色）について、Ｂ00, Ｂ01, Ｂ02, ‥‥，Ｂij, ‥‥, Ｂ256 256 となる。
のフローチャートに示すように、ステップ７０１でカラ
ー撮像手段３１で撮像した１画面（１フレーム）分の画
像データを画像メモリ３３に入力し、記憶させる。ここ
で、カラー撮像手段３１での１フレームは縦横に２５６
×２５６の画素からなり、且つ各画素について前記Ｒ，
Ｇ，Ｂの三原色の検出部を有する。つまり、Ｒ，Ｇ，Ｂ
の各色成分について２５６×２５６の画素が有る。また
各画素について６４階調である。なお、各色成分の画素
（ピクセル）についての座標（ｉ，ｊ）位置は、画面Ｓ
Ｃの左上端角を座標原点とする（図６参照）。 横軸方
向（列）の座標位置をｉ、縦軸方向（行）の座標位置を
ｊとする。 従って、１フレーム中のＲ，Ｇ，Ｂの各色
成分についての検出値（データ）は、 Ｒ（赤色）について、Ｒ00, Ｒ01, Ｒ02, ‥‥，Ｒij, ‥‥, Ｒ256 256 Ｇ（緑色）について、Ｇ00, Ｇ01, Ｇ02, ‥‥，Ｇij, ‥‥, Ｇ256 256 Ｂ（青色）について、Ｂ00, Ｂ01, Ｂ02, ‥‥，Ｂij, ‥‥, Ｂ256 256 となる。
【００１４】次いでステップ７０２で、図６に示すよう
に画面ＳＣについて、既刈取領域Ｋに相当する箇所の一
部を指定してサンプル領域Ｋａを設定すると共に、未刈
取領域Ｍ に相当する箇所のについてもサンプル領域Ｍ
ａを設定する。これらのサンプル領域の設定は、ソフト
的なウインドウ処理で実行することが好ましい。即ち、
カラー撮像手段３１で前記既刈取地Ｋ１と未刈取地Ｍ１
との境界部分が画面の左右略中央で前後（上下）に長手
になるように撮像すると、画面ＳＣの左右両端部寄り部
位では、明らかに既刈取地Ｋ１や未刈取地Ｍ１と判断で
き、且つ、紛らわしくないので、そのような箇所に設定
する。
に画面ＳＣについて、既刈取領域Ｋに相当する箇所の一
部を指定してサンプル領域Ｋａを設定すると共に、未刈
取領域Ｍ に相当する箇所のについてもサンプル領域Ｍ
ａを設定する。これらのサンプル領域の設定は、ソフト
的なウインドウ処理で実行することが好ましい。即ち、
カラー撮像手段３１で前記既刈取地Ｋ１と未刈取地Ｍ１
との境界部分が画面の左右略中央で前後（上下）に長手
になるように撮像すると、画面ＳＣの左右両端部寄り部
位では、明らかに既刈取地Ｋ１や未刈取地Ｍ１と判断で
き、且つ、紛らわしくないので、そのような箇所に設定
する。
【００１５】ステップ７０３で、前記各サンプル領域Ｍ
ａ，ＫａにおけるＲ，Ｇ，Ｂの各色成分サンプリング信
号の値から、後述する既刈取領域Ｋと未刈取領域Ｍとに
分別するためのしきい値を設定する。このしきい値は、
既刈取領域Ｋにおける各色成分について高レベルのもの
Ｒkshl，Ｇkshl，Ｂkshlと、低レベルのものＲksll，Ｇ
ksll，Ｂksllを下記の演算にて求める。この演算は、例
えば既刈取領域でのサンプル領域Ｋａの全部の画素につ
いてのＲ色成分サンプリング信号値の平均値Ｒkav と標
準偏差値Ｒkstvとを用いる。 Ｒkshl＝Ｒkav ＋Ｒkstv Ｒksll＝Ｒkav −Ｒkstv Ｇkshl＝Ｇkav ＋Ｇkstv Ｇksll＝Ｇkav −Ｇkstv Ｂkshl＝Ｂkav ＋Ｂkstv Ｂksll＝Ｂkav −Ｂkstv 同様にして、未刈取領域Ｍおける、各色成分について高
レベルのものＲmshl，Ｇmshl，Ｂmshlと、低レベルのも
のＲmsll，Ｇmsll，Ｂmsllを下記の演算にて求める。こ
の演算は、例えば未刈取領域でのサンプル領域Ｍａの全
部の画素についてのＲ色成分サンプリング信号値の平均
値Ｒmav と標準偏差値Ｒmstvとを用いる。 Ｒmshl＝Ｒmav ＋Ｒmstv Ｒmsll＝Ｒmav −Ｒmstv Ｇmshl＝Ｇmav ＋Ｇmstv Ｇmsll＝Ｇmav −Ｇmstv Ｂmshl＝Ｂmav ＋Ｂmstv Ｂmsll＝Ｂmav −Ｂmstv
ａ，ＫａにおけるＲ，Ｇ，Ｂの各色成分サンプリング信
号の値から、後述する既刈取領域Ｋと未刈取領域Ｍとに
分別するためのしきい値を設定する。このしきい値は、
既刈取領域Ｋにおける各色成分について高レベルのもの
Ｒkshl，Ｇkshl，Ｂkshlと、低レベルのものＲksll，Ｇ
ksll，Ｂksllを下記の演算にて求める。この演算は、例
えば既刈取領域でのサンプル領域Ｋａの全部の画素につ
いてのＲ色成分サンプリング信号値の平均値Ｒkav と標
準偏差値Ｒkstvとを用いる。 Ｒkshl＝Ｒkav ＋Ｒkstv Ｒksll＝Ｒkav −Ｒkstv Ｇkshl＝Ｇkav ＋Ｇkstv Ｇksll＝Ｇkav −Ｇkstv Ｂkshl＝Ｂkav ＋Ｂkstv Ｂksll＝Ｂkav −Ｂkstv 同様にして、未刈取領域Ｍおける、各色成分について高
レベルのものＲmshl，Ｇmshl，Ｂmshlと、低レベルのも
のＲmsll，Ｇmsll，Ｂmsllを下記の演算にて求める。こ
の演算は、例えば未刈取領域でのサンプル領域Ｍａの全
部の画素についてのＲ色成分サンプリング信号値の平均
値Ｒmav と標準偏差値Ｒmstvとを用いる。 Ｒmshl＝Ｒmav ＋Ｒmstv Ｒmsll＝Ｒmav −Ｒmstv Ｇmshl＝Ｇmav ＋Ｇmstv Ｇmsll＝Ｇmav −Ｇmstv Ｂmshl＝Ｂmav ＋Ｂmstv Ｂmsll＝Ｂmav −Ｂmstv
【００１６】次にステップ７０４では、前記１フレーム
全体について、各色成分ごとに、その検出値から２値化
処理を実行する。ここで２値化処理とは、各色成分の画
素の検出値（データ）が前述の高いしきい値と低いしき
い値とによる条件式に適合するとき、出力値を「１」と
し、前記条件式に適合しないと、出力値を「０」とする
ものである。既刈取領域としての適合性条件式（１）
は、 もし、Ｒksll＜Ｒij＜Ｒkshlであるなら、 Ｒkij ＝１ もし、Ｒksll＜Ｒij＜Ｒkshlでないなら、 Ｒkij＝０ もし、Ｇksll＜Ｇij＜Ｇkshlであるなら、 Ｇkij＝１ もし、Ｇksll＜Ｇij＜Ｇkshlでないなら、 Ｇkij＝０ もし、Ｂksll＜Ｂij＜Ｂkshlであるなら、 Ｂkij＝１ もし、Ｂksll＜Ｂij＜Ｂkshlでないなら、 Ｂkij＝０ とする。同様に、未刈取領域としての適合性条件式
（２）は、 もし、Ｒmsll＜Ｒij＜Ｒmshlであるなら、 Ｒmij ＝１ もし、Ｒmsll＜Ｒij＜Ｒmshlでないなら、 Ｒmij＝０ もし、Ｇmsll＜Ｇij＜Ｇmshlであるなら、 Ｇmij＝１ もし、Ｇmsll＜Ｇij＜Ｇmshlでないなら、 Ｇmij＝０ もし、Ｂmsll＜Ｂij＜Ｂmshlであるなら、 Ｂmij＝１ もし、Ｂmsll＜Ｂij＜Ｂmshlでないなら、 Ｂmij＝０ とする。
全体について、各色成分ごとに、その検出値から２値化
処理を実行する。ここで２値化処理とは、各色成分の画
素の検出値（データ）が前述の高いしきい値と低いしき
い値とによる条件式に適合するとき、出力値を「１」と
し、前記条件式に適合しないと、出力値を「０」とする
ものである。既刈取領域としての適合性条件式（１）
は、 もし、Ｒksll＜Ｒij＜Ｒkshlであるなら、 Ｒkij ＝１ もし、Ｒksll＜Ｒij＜Ｒkshlでないなら、 Ｒkij＝０ もし、Ｇksll＜Ｇij＜Ｇkshlであるなら、 Ｇkij＝１ もし、Ｇksll＜Ｇij＜Ｇkshlでないなら、 Ｇkij＝０ もし、Ｂksll＜Ｂij＜Ｂkshlであるなら、 Ｂkij＝１ もし、Ｂksll＜Ｂij＜Ｂkshlでないなら、 Ｂkij＝０ とする。同様に、未刈取領域としての適合性条件式
（２）は、 もし、Ｒmsll＜Ｒij＜Ｒmshlであるなら、 Ｒmij ＝１ もし、Ｒmsll＜Ｒij＜Ｒmshlでないなら、 Ｒmij＝０ もし、Ｇmsll＜Ｇij＜Ｇmshlであるなら、 Ｇmij＝１ もし、Ｇmsll＜Ｇij＜Ｇmshlでないなら、 Ｇmij＝０ もし、Ｂmsll＜Ｂij＜Ｂmshlであるなら、 Ｂmij＝１ もし、Ｂmsll＜Ｂij＜Ｂmshlでないなら、 Ｂmij＝０ とする。
【００１７】次にステップ７０５で、１フレームの画像
データ全体について、既刈取領域Ｋと未刈取領域Ｍと、
そのいずれにも属さない第３領域（曖昧領域Ｃと異質領
域Ｄとを含む領域）の３つの領域に分別する。この場
合、前記２値化処理で得られた各画素の「１」と「０」
との２値条件式（１）と（２）の結果を用いて、下記条
件式（３），（４）を設定する。条件式（３）は、 もし、（Ｒkij ＝１、且つＧkij ＝１、且つＢkij ＝
１）のとき、Ｋaij ＝１とする。 もし、（Ｒkij ＝１、且つＧkij ＝１、且つＢkij ＝
１）でないとき、Ｋaij ＝０とする。ここで、Ｋaij ＝
１とは、座標（ｉ，ｊ）の画素について、既刈取領域Ｋ
として適合することを意味し、Ｋaij ＝０の場合には適
合しないことを意味する。同様にして条件式（４）は、 もし、（Ｒmij ＝１、且つＧmij ＝１、且つＢmij ＝
１）のとき、Ｍａij＝１とする。 もし、（Ｒmij ＝１、且つＧmij ＝１、且つＢmij ＝
１）でないとき、Ｍaij ＝０とする。 ここで、Ｍaij ＝１とは、座標（ｉ，ｊ）の画素につい
て、未刈取領域Ｍとして適合することを意味し、Ｍaij
＝０の場合は適合しないことを意味する。前記条件式
（３）および（４）から、Ｋaij ＝１で且つＭaij ＝０
である座標の部分を、既刈取領域Ｋとする。また、Ｋai
j ＝０で且つＭaij ＝１である座標の部分を、未刈取領
域Ｍとする。そして、Ｋaij ＝０で且つＭaij ＝０、ま
たは、Ｋaij ＝１で且つＭaij ＝１である座標の部分
を、第３領域とする。これらの結果を示す図８におい
て、の領域は明らかに既刈取領域Ｋに属する。の領
域は明らかに未刈取領域Ｍに属する。及び′の領域
は前記のいずれにも属さない第３領域である。
データ全体について、既刈取領域Ｋと未刈取領域Ｍと、
そのいずれにも属さない第３領域（曖昧領域Ｃと異質領
域Ｄとを含む領域）の３つの領域に分別する。この場
合、前記２値化処理で得られた各画素の「１」と「０」
との２値条件式（１）と（２）の結果を用いて、下記条
件式（３），（４）を設定する。条件式（３）は、 もし、（Ｒkij ＝１、且つＧkij ＝１、且つＢkij ＝
１）のとき、Ｋaij ＝１とする。 もし、（Ｒkij ＝１、且つＧkij ＝１、且つＢkij ＝
１）でないとき、Ｋaij ＝０とする。ここで、Ｋaij ＝
１とは、座標（ｉ，ｊ）の画素について、既刈取領域Ｋ
として適合することを意味し、Ｋaij ＝０の場合には適
合しないことを意味する。同様にして条件式（４）は、 もし、（Ｒmij ＝１、且つＧmij ＝１、且つＢmij ＝
１）のとき、Ｍａij＝１とする。 もし、（Ｒmij ＝１、且つＧmij ＝１、且つＢmij ＝
１）でないとき、Ｍaij ＝０とする。 ここで、Ｍaij ＝１とは、座標（ｉ，ｊ）の画素につい
て、未刈取領域Ｍとして適合することを意味し、Ｍaij
＝０の場合は適合しないことを意味する。前記条件式
（３）および（４）から、Ｋaij ＝１で且つＭaij ＝０
である座標の部分を、既刈取領域Ｋとする。また、Ｋai
j ＝０で且つＭaij ＝１である座標の部分を、未刈取領
域Ｍとする。そして、Ｋaij ＝０で且つＭaij ＝０、ま
たは、Ｋaij ＝１で且つＭaij ＝１である座標の部分
を、第３領域とする。これらの結果を示す図８におい
て、の領域は明らかに既刈取領域Ｋに属する。の領
域は明らかに未刈取領域Ｍに属する。及び′の領域
は前記のいずれにも属さない第３領域である。
【００１８】次にステップ７０６で、前記画像メモリ３
３にて記憶させた画像データのうち、前記第３領域から
異質領域Ｄ部分に該当する画像データを除去する。この
場合２値化しきい値の条件式（１）及び（２）でしきい
値レベルが所定の値より低い場合には、異質領域Ｄとす
るのである。ついで、画像データを更新記憶させる（ス
テップ７０７）。
３にて記憶させた画像データのうち、前記第３領域から
異質領域Ｄ部分に該当する画像データを除去する。この
場合２値化しきい値の条件式（１）及び（２）でしきい
値レベルが所定の値より低い場合には、異質領域Ｄとす
るのである。ついで、画像データを更新記憶させる（ス
テップ７０７）。
【００１９】次にステップ７０８では、後述のバックプ
ロパゲーションニューラルネットワークによる学習を実
行し、前記更新された画像データから、曖昧領域Ｃ中の
各画素のデータが、既刈取領域Ｋに属するか、未刈取領
域Ｍに属するかに分別する。このようにしてニューラル
ネットワークにて得られた未刈取領域と既刈取領域と、
前記ステップ７０５で既に得られた未刈取領域と既刈取
領域とを画面上で合成すれば、曖昧領域Ｃについてもハ
ッキリと未刈取地と、既刈取地とに分別できる（ステッ
プ７０９）。次いでステップ７１０では、前記学習した
ニューラルネットワークのオフセット値や結合係数等を
ＲＡＭに記憶しておく。ステップ７１１では、同一圃場
における異なる箇所の画像データを入力して、その箇所
の未刈取地と既刈取地と境界を分別するようにするので
ある。なお、前記既刈取地Ｋ１と未刈取地Ｍ１との境界
線に相当する仮想線を決定すべくハフ変換にて演算処理
し、その仮想線に沿うように操向制御を実行すれば良
い。
ロパゲーションニューラルネットワークによる学習を実
行し、前記更新された画像データから、曖昧領域Ｃ中の
各画素のデータが、既刈取領域Ｋに属するか、未刈取領
域Ｍに属するかに分別する。このようにしてニューラル
ネットワークにて得られた未刈取領域と既刈取領域と、
前記ステップ７０５で既に得られた未刈取領域と既刈取
領域とを画面上で合成すれば、曖昧領域Ｃについてもハ
ッキリと未刈取地と、既刈取地とに分別できる（ステッ
プ７０９）。次いでステップ７１０では、前記学習した
ニューラルネットワークのオフセット値や結合係数等を
ＲＡＭに記憶しておく。ステップ７１１では、同一圃場
における異なる箇所の画像データを入力して、その箇所
の未刈取地と既刈取地と境界を分別するようにするので
ある。なお、前記既刈取地Ｋ１と未刈取地Ｍ１との境界
線に相当する仮想線を決定すべくハフ変換にて演算処理
し、その仮想線に沿うように操向制御を実行すれば良
い。
【００２０】次にバックプロパゲーションニューラルネ
ットワークによる学習について説明する。ニューラルネ
ットワークのサブルーチンフローチャートを図１０に示
す。本実施例でのバックプロパゲーション学習法は教師
付き学習方法であり、入力層Ｉ→中間層→出力層から成
る３層構造の階層型の構造をしたニューラルネットに対
して実行する。例えば、学習すべき箇所（領域）は、未
刈取領域でのサンプル領域Ｍａが、座標a1（5 ，150),a
2(30 ,200)の矩形範囲であるとすると、ｉ＝５〜３０，
ｊ＝１５０〜２００となる。 Ｒ，Ｇ，Ｂの各々につい
て２５×５０（個）のサンプリング信号が得られる（Ｒ
について図９参照）。同様に、既刈取領域でのサンプル
領域Ｋａが、座標b1（205 ，150),b2(230 ,200) の矩形
範囲であるとすると、ｉ＝５〜３０，ｊ＝１５０〜２０
０となる。サンプリング信号については、３×３の画素
のマトリックスをｉ方向に１駒ずつずらし、またｊ方向
に１駒ずつずらしてサンプリングする。いわゆるラスタ
走査のように前記９つの画素からなるブロックを移動さ
せて後述の一つのニューラルネットに入力する。
ットワークによる学習について説明する。ニューラルネ
ットワークのサブルーチンフローチャートを図１０に示
す。本実施例でのバックプロパゲーション学習法は教師
付き学習方法であり、入力層Ｉ→中間層→出力層から成
る３層構造の階層型の構造をしたニューラルネットに対
して実行する。例えば、学習すべき箇所（領域）は、未
刈取領域でのサンプル領域Ｍａが、座標a1（5 ，150),a
2(30 ,200)の矩形範囲であるとすると、ｉ＝５〜３０，
ｊ＝１５０〜２００となる。 Ｒ，Ｇ，Ｂの各々につい
て２５×５０（個）のサンプリング信号が得られる（Ｒ
について図９参照）。同様に、既刈取領域でのサンプル
領域Ｋａが、座標b1（205 ，150),b2(230 ,200) の矩形
範囲であるとすると、ｉ＝５〜３０，ｊ＝１５０〜２０
０となる。サンプリング信号については、３×３の画素
のマトリックスをｉ方向に１駒ずつずらし、またｊ方向
に１駒ずつずらしてサンプリングする。いわゆるラスタ
走査のように前記９つの画素からなるブロックを移動さ
せて後述の一つのニューラルネットに入力する。
【００２１】本実施例でのニューラルネット構造におけ
る入力層ユニットＰの数は、２７個であり、図６におけ
るサンプル領域内の３×３の画素毎について、Ｒ（赤
色）、Ｇ（緑色）、Ｂ（青色）の各色成分信号値データ
を学習用データとして用いる。中間層ユニットＱの数は
９個、出力層ユニットＳの数は２個である。図１１はニ
ューラルネットの構造を図示したものである。
る入力層ユニットＰの数は、２７個であり、図６におけ
るサンプル領域内の３×３の画素毎について、Ｒ（赤
色）、Ｇ（緑色）、Ｂ（青色）の各色成分信号値データ
を学習用データとして用いる。中間層ユニットＱの数は
９個、出力層ユニットＳの数は２個である。図１１はニ
ューラルネットの構造を図示したものである。
【００２２】具体的な学習方法は、次のように実行す
る。まず未刈取領域のサンプル領域Ｍａについて、(な
お、以下の文章中の記号のうち、｛ ｝で囲まれるも
のは、複数のユニットについてをいう）。 〔１〕ニューラルネットワークの状態を決める結合係数
｛WPQ ｝，｛WQS ｝とオフセット値｛θP ｝，｛θQ ｝
をそれぞれ小さな値の乱数値で初期化する。 〔２〕サンプル領域Ｍａのデータを最初の学習データと
する。 〔３〕学習データの値を入力層ユニットＰの出力｛Ｐou
t ｝に入れ、入力層から中間層への結合係数｛WPQ ｝と
中間層ユニットＱのオフセット値θP とを用いて、中間
層ユニットへの入力値Ｑinを求める。この入力値Ｑin
と、ｆ（Ｘ）＝１／（１＋exp(−Ｘ））のような、シグ
モイド関数ｆ（Ｘ）により、中間層ユニットＱの出力値
Ｑout を求める。なお、入力層ユニットＰの出力Ｐout
は、 Ｐout ＝１／（１＋exp （−（Ｘ−θ）／Ｔ） ‥‥（５）式 ここで、Ｘ＝W1*R1ij ＋W2*R2ij ＋W9*R9ij＋W10*G1ij
‥‥ ＋W27*B9ij（ここで、各色成分の階調は６４で
あるので、Rnijは０〜６３の整数とし、Ｇ，Ｂについて
も同様とする。）W1,W2,‥‥W27 は結合係数で重みづけ
である。θは学習によって変化するオフセット値であ
り、Ｔは、ボルツマンマシンによるエネルギー関数の温
度パラメータで、実施例ではＴ＝１とした。 〔４〕中間層ユニットの出力値｛Ｑout ｝と、中間層か
ら出力層Ｓへの結合係数｛WQS ｝と、出力層Ｑのオフセ
ット値θQ とを用いて、出力層ユニットＳ１，Ｓ２の各
出力値Ｓout を求める。中間層ユニットＱの出力Ｑout
も、前記（５）式において、Ｐout をＸとして同様の計
算式から導く。 〔５〕学習における教師信号を、出力層ユニットＳ１に
ついてはＳ１out ＝１とし、出力層ユニットＳ２につい
てはＳ２out ＝０とする。各々の出力層ユニットについ
て、教師信号と出力層の出力値との差から、出力層のユ
ニットＳ１につながる結合係数と中間層ユニットＱのオ
フセットに対する誤差δs1を求める。出力層ユニットＳ
２についても同様に誤差δs2を求める。 〔６〕誤差δs1と中間層から出力層への結合係数｛WQS
｝と中間層の出力値Ｑout とから、中間層ユニットＱ
につながる結合係数と中間層ユニットのオフセット値θ
P に対する誤差σq を求める。 〔７〕〔５〕で求めた出力層ユニットＳ１での誤差σs1
と中間層ユニットＱの出力Ｑout と定数αとの積を加算
することで、中間層ユニットＱから出力層ユニットＳ１
につながる結合係数WQS を修正する。また、誤差σs1と
定数βとの積を加算することで、出力層ユニットＳ１の
オフセット値θQ を修正する。同様に出力層ユニットＳ
２についても求める。 〔８〕中間層ユニットＱでの、誤差σq と入力層ユニッ
トＰの出力値Ｐout と定数αとの積を加算することで、
入力層ユニットＰから中間層ユニットＱにつながる結合
係数WPQ を修正する。また、誤差σq と定数βとの積を
加算することで、中間層ユニットＱのオフセット値θP
を修正する。
る。まず未刈取領域のサンプル領域Ｍａについて、(な
お、以下の文章中の記号のうち、｛ ｝で囲まれるも
のは、複数のユニットについてをいう）。 〔１〕ニューラルネットワークの状態を決める結合係数
｛WPQ ｝，｛WQS ｝とオフセット値｛θP ｝，｛θQ ｝
をそれぞれ小さな値の乱数値で初期化する。 〔２〕サンプル領域Ｍａのデータを最初の学習データと
する。 〔３〕学習データの値を入力層ユニットＰの出力｛Ｐou
t ｝に入れ、入力層から中間層への結合係数｛WPQ ｝と
中間層ユニットＱのオフセット値θP とを用いて、中間
層ユニットへの入力値Ｑinを求める。この入力値Ｑin
と、ｆ（Ｘ）＝１／（１＋exp(−Ｘ））のような、シグ
モイド関数ｆ（Ｘ）により、中間層ユニットＱの出力値
Ｑout を求める。なお、入力層ユニットＰの出力Ｐout
は、 Ｐout ＝１／（１＋exp （−（Ｘ−θ）／Ｔ） ‥‥（５）式 ここで、Ｘ＝W1*R1ij ＋W2*R2ij ＋W9*R9ij＋W10*G1ij
‥‥ ＋W27*B9ij（ここで、各色成分の階調は６４で
あるので、Rnijは０〜６３の整数とし、Ｇ，Ｂについて
も同様とする。）W1,W2,‥‥W27 は結合係数で重みづけ
である。θは学習によって変化するオフセット値であ
り、Ｔは、ボルツマンマシンによるエネルギー関数の温
度パラメータで、実施例ではＴ＝１とした。 〔４〕中間層ユニットの出力値｛Ｑout ｝と、中間層か
ら出力層Ｓへの結合係数｛WQS ｝と、出力層Ｑのオフセ
ット値θQ とを用いて、出力層ユニットＳ１，Ｓ２の各
出力値Ｓout を求める。中間層ユニットＱの出力Ｑout
も、前記（５）式において、Ｐout をＸとして同様の計
算式から導く。 〔５〕学習における教師信号を、出力層ユニットＳ１に
ついてはＳ１out ＝１とし、出力層ユニットＳ２につい
てはＳ２out ＝０とする。各々の出力層ユニットについ
て、教師信号と出力層の出力値との差から、出力層のユ
ニットＳ１につながる結合係数と中間層ユニットＱのオ
フセットに対する誤差δs1を求める。出力層ユニットＳ
２についても同様に誤差δs2を求める。 〔６〕誤差δs1と中間層から出力層への結合係数｛WQS
｝と中間層の出力値Ｑout とから、中間層ユニットＱ
につながる結合係数と中間層ユニットのオフセット値θ
P に対する誤差σq を求める。 〔７〕〔５〕で求めた出力層ユニットＳ１での誤差σs1
と中間層ユニットＱの出力Ｑout と定数αとの積を加算
することで、中間層ユニットＱから出力層ユニットＳ１
につながる結合係数WQS を修正する。また、誤差σs1と
定数βとの積を加算することで、出力層ユニットＳ１の
オフセット値θQ を修正する。同様に出力層ユニットＳ
２についても求める。 〔８〕中間層ユニットＱでの、誤差σq と入力層ユニッ
トＰの出力値Ｐout と定数αとの積を加算することで、
入力層ユニットＰから中間層ユニットＱにつながる結合
係数WPQ を修正する。また、誤差σq と定数βとの積を
加算することで、中間層ユニットＱのオフセット値θP
を修正する。
〔９〕次の学習データを入力する。 〔１０〕学習データが終了するまで〔３〕に戻る。 〔１１〕学習繰り返し数を更新する。 〔１２〕 入力層ユニットの出力値Ｐout と出力層ユニ
ットの出力Ｓout との差 が許容誤差以下になった時点で学習を終了する。 〔１３〕学習繰り返し回数が制限数以下であれば、
〔２〕に戻る。
ットの出力Ｓout との差 が許容誤差以下になった時点で学習を終了する。 〔１３〕学習繰り返し回数が制限数以下であれば、
〔２〕に戻る。
【００２３】以上の処理を図９のフローチャートで示し
た。最終の入力層ユニットＰでは、その出力値Ｐout と
教師信号とを比較して誤差σs1及び誤差σq を逆伝搬さ
せて重みを修正し、学習を行う。前記と同様の処理を、
既刈取領域のサンプル領域Ｋａについても実行する。こ
の場合の教師信号はＳ１out ＝０，Ｓ２out ＝１として
学習させる。前述のように、前記各サンプル領域に対す
る２値化処理の結果を教師信号に利用すれば、いちいち
外部から教師信号を入力する必要がなく便利である。
た。最終の入力層ユニットＰでは、その出力値Ｐout と
教師信号とを比較して誤差σs1及び誤差σq を逆伝搬さ
せて重みを修正し、学習を行う。前記と同様の処理を、
既刈取領域のサンプル領域Ｋａについても実行する。こ
の場合の教師信号はＳ１out ＝０，Ｓ２out ＝１として
学習させる。前述のように、前記各サンプル領域に対す
る２値化処理の結果を教師信号に利用すれば、いちいち
外部から教師信号を入力する必要がなく便利である。
【００２４】なお、一つの圃場内で外側から順に平面視
略矩形状に刈り取る場合、その４辺を走行しつつ刈り取
るようにコンバインの走行方向が大きく変更（例えば略
９０°）されるごとに、その刈取り辺ごとに前記の未刈
取領域と既刈取領域とのサンプリングを実行して、前記
の２値化処理のしきい値の設定およびニューラルネット
ワークのための学習データを得るようにしても良い。
略矩形状に刈り取る場合、その４辺を走行しつつ刈り取
るようにコンバインの走行方向が大きく変更（例えば略
９０°）されるごとに、その刈取り辺ごとに前記の未刈
取領域と既刈取領域とのサンプリングを実行して、前記
の２値化処理のしきい値の設定およびニューラルネット
ワークのための学習データを得るようにしても良い。
【００２５】
【発明の効果】上述のように、本発明に従えば、被検査
物である植物の種類の相違や被検査物に対する太陽光の
当たり具合の変化が大きいことにより、従来の２値化処
理だけでは分別できなかった曖昧領域を、未刈取領域と
既刈取領域とに分別できる。また、未刈取領域及び既刈
取領域のいずれとも画像データが大幅に異なる異質領域
については、学習データから予め除外しておくので、ニ
ューラルネットでの学習効果、つまり正しい推論（認
識）への到達精度（学習精度）が向上すると共に、学習
速度（正しい認識に到達するまでの所要時間）も早くな
るという効果を奏するのである。結果として、自動走行
作業機における操向操作の精度が向上し、且つ迅速に操
向操作できるという効果を奏する。
物である植物の種類の相違や被検査物に対する太陽光の
当たり具合の変化が大きいことにより、従来の２値化処
理だけでは分別できなかった曖昧領域を、未刈取領域と
既刈取領域とに分別できる。また、未刈取領域及び既刈
取領域のいずれとも画像データが大幅に異なる異質領域
については、学習データから予め除外しておくので、ニ
ューラルネットでの学習効果、つまり正しい推論（認
識）への到達精度（学習精度）が向上すると共に、学習
速度（正しい認識に到達するまでの所要時間）も早くな
るという効果を奏するのである。結果として、自動走行
作業機における操向操作の精度が向上し、且つ迅速に操
向操作できるという効果を奏する。
【図１】コンバインの側面図である。
【図２】コンバインの平面図である。
【図３】コンバイン伝動系を示すスケルトン図である。
【図４】制御装置のブロック図である。
【図５】圃場の未刈取地と既刈取地とを側面から見た図
である。
である。
【図６】１フレームにおける未刈取領域と既刈取領域と
曖昧領域との部分を示す説明図である。
曖昧領域との部分を示す説明図である。
【図７】２値化処理のフローチャート
【図８】３領域化の説明図である。
【図９】Ｒ（赤色）のサンプリング信号についての画素
マトリックスを示す図である。
マトリックスを示す図である。
【図１０】バックプロパゲーション法のフローチャート
である。
である。
【図１１】ニューラルネットワークの構造を示す図であ
る。
る。
１ 走行機体 ３１ カラー撮像手段 ３４ 画像処理用中央処理装置 ３５ 中央制御装置 ３６ 読み取り専用メモリ（ＲＯＭ） ３７ 読み書き可能メモリ（ＲＡＭ） ３８ 入出力インターフェイス ３９ バス
フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０６Ｆ 15/18 Ｇ０６Ｆ 15/18 Ｇ０６Ｔ 1/00 Ｇ０９Ｇ 5/04 Ｇ０９Ｇ 5/04 Ｇ０６Ｆ 15/62 ３８０ // Ｇ０６Ｔ 7/00 15/70 ３１０ (56)参考文献 実開 平３−13563（ＪＰ，Ｕ) 実開 平２−14157（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.6，ＤＢ名) A01B 69/00 A01D 41/12 G05B 13/02 G05D 1/02 G06F 15/18 G06T 1/00 G09G 5/04 G06T 7/00
Claims (1)
- 【請求項１】 走行機体に搭載したカラー撮像手段に
て、作業場における既刈取地と未刈取地とに跨がって撮
像して得られた画像のうちの任意の一画面の画像データ
を、画像メモリに記憶し、この画像メモリ中から、適宜
範囲の既刈取サンプル領域と未刈取サンプル領域とを抽
出し、この二つのサンプル領域の各々について、Ｒ，
Ｇ，Ｂ三原色の色成分サンプリング信号値を求め、これ
らのサンプリング信号値を２値化処理して、前記一画面
の画像データ全体について、既刈取領域と、未刈取領域
と、それ以外の第３領域とに分別する領域化処理を実行
した後、前記両サンプル領域の三原色の色成分サンプリ
ング信号値を学習データとしてニューラルネットワーク
を構築し、前記第３領域のうち２値化しきい値のレベル
が一定範囲外の異質領域に該当する画像データを除去し
た残りの画像データについて、既刈取領域と未刈取領域
とに分別することを特徴とする自動走行作業機における
画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3081944A JP2944773B2 (ja) | 1991-03-20 | 1991-03-20 | 自動走行作業機における画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3081944A JP2944773B2 (ja) | 1991-03-20 | 1991-03-20 | 自動走行作業機における画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04293403A JPH04293403A (ja) | 1992-10-19 |
| JP2944773B2 true JP2944773B2 (ja) | 1999-09-06 |
Family
ID=13760618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3081944A Expired - Lifetime JP2944773B2 (ja) | 1991-03-20 | 1991-03-20 | 自動走行作業機における画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2944773B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019094863A1 (en) * | 2017-11-13 | 2019-05-16 | Smart Ag, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5867846B2 (ja) * | 2011-04-20 | 2016-02-24 | 国立研究開発法人宇宙航空研究開発機構 | 赤外線映像の視認性向上方法とその機能を備えた装置 |
| JP7246641B2 (ja) * | 2019-10-03 | 2023-03-28 | 国立大学法人京都大学 | 農作業機 |
| CN113910225A (zh) * | 2021-10-09 | 2022-01-11 | 邦鼓思电子科技（上海）有限公司 | 一种基于视觉边界检测的机器人控制系统及方法 |
-
1991
- 1991-03-20 JP JP3081944A patent/JP2944773B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019094863A1 (en) * | 2017-11-13 | 2019-05-16 | Smart Ag, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
| US10788835B2 (en) | 2017-11-13 | 2020-09-29 | Raven Industries, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
| US11734917B2 (en) | 2017-11-13 | 2023-08-22 | Raven Industries, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04293403A (ja) | 1992-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6721453B1 (en) | Method and apparatus for processing an image of an agricultural field | |
| RU2361381C2 (ru) | Способ и система автоматического управления сельскохозяйственной машиной, уборочная машина и машина для обработки почвы | |
| JP2944774B2 (ja) | 自動走行作業機における画像処理方法 | |
| AU2006306733B2 (en) | Crop attribute map input for vehicle guidance | |
| DE102016118227A1 (de) | Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen | |
| CN110827273A (zh) | 一种基于区域卷积神经网络的茶叶病害检测方法 | |
| CN107121535A (zh) | 一种有效的农作物生长环境监测系统 | |
| JP2944773B2 (ja) | 自動走行作業機における画像処理方法 | |
| Bulanon et al. | A multispectral imaging analysis for enhancing citrus fruit detection | |
| Benson et al. | An adaptive fuzzy crop edge detection method for machine vision | |
| JP2795454B2 (ja) | カラー情報による境界線の検出方法 | |
| Santhosh Kumar et al. | Review on disease detection of plants using image processing and machine learning techniques | |
| JP2740268B2 (ja) | 走行作業機の操舵制御における画像情報の２値化処理装置 | |
| Rovira-Más et al. | Crop scouting and surrounding awareness for specialty crops | |
| US20240057503A1 (en) | Windrow detection device | |
| Oh et al. | Estimating vegetation index for outdoor free-range pig production using YOLO | |
| US20240122106A1 (en) | Stubble lean detection system for an agricultural harvester | |
| Ariza-Sentís et al. | Object detection and tracking in Precision Farming: a systematic review | |
| CN116453003B (zh) | 一种基于无人机监测智能识别水稻生长势的方法和系统 | |
| US20220405912A1 (en) | System and method for determining an indicator of processing quality of an agricultural harvested material | |
| Chandler et al. | The next generation autonomous lawn mower | |
| CN218736029U (zh) | 农作物收割设备 | |
| US20230103532A1 (en) | Non-contact, non-invasive, and quantitative agricultural monitoring devices and systems | |
| JPH02110605A (ja) | 自動走行作業機の自動操舵制御における画像処理方法 | |
| JPH02110604A (ja) | 自動操行作業機の自動操舵制御における画像情報の２値化処理装置 |