JP3239280B2

JP3239280B2 - 果菜収穫機の果菜類中心線検出方式

Info

Publication number: JP3239280B2
Application number: JP07546493A
Authority: JP
Inventors: 誠一有馬
Original assignee: Iseki and Co Ltd
Current assignee: Iseki and Co Ltd
Priority date: 1993-04-01
Filing date: 1993-04-01
Publication date: 2001-12-17
Anticipated expiration: 2016-12-17
Also published as: JPH06284810A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、果菜収穫機の果菜類
中心線検出方式に関する。

【０００２】

【従来の技術】従来は、果菜類がきゅうりであり、この
きゅうりの検出は、栽培された植条に沿って自走しなが
ら、きゅうりの形状はカメラで撮影されて、この撮影さ
れた画像を２値化して２値化画像が作成され、この２値
化画像の輪郭の縦と横との比が算出され、この算出した
比によってきゅうりであるか、又は葉であるかが判別さ
れて、きゅうりを検出する方式であり、きゅうりの２値
化画像の中心線を検出して、この中心線の方向によっ
て、きゅうりであるか、又は葉であるかが判別される方
式は行われていなかった。

【０００３】

【発明が解決しようとする課題】果菜収穫機で、例えば
果菜類がきゅうりであり、このきゅうりを検出して収穫
するときは、栽培された植条に沿って自走しながら、き
ゅうりの形状はカメラで撮影され、この検出された画像
信号を２値化して２値化画像が作成され、この２値化画
像の輪郭の縦と横との比が算出され、この算出した比に
よってきゅうりであるか、又は葉であるかが判別され
て、きゅうりが収穫される。

【０００４】このきゅうり収穫作業のときに、カメラで
きゅうりを撮影のときに、きゅうりと葉とが重さなった
状態で撮影されると、２値化画像はきゅうりと葉とが一
体になった画像となり、このためきゅうりがきゅうりで
ないと誤検出されるが、これを解消しようとするもので
ある。

【０００５】

【課題を解決するための手段】この発明は、果菜類を含
む所定範囲をカメラ２で撮影し、これによって得られる
検出画像信号を２値化し該２値化画像上の各画素群の中
心線（イ）を検出して該中心線（イ）が方向性を有する
ものについては果菜類であると判定し、方向性のないも
のについては葉等であると判定する果菜収穫機におい
て、該中心線（イ）の検索は中央部画素の周囲を８分割
してそれぞれに所定点数を付して該各画素群の一端部か
ら他端部へ該中央部画素を移動させて各画素の点数を検
出して平均値を演算し、該平均値によって該中心線
（イ）の方向性を検出する方向検出制御手段２０を設け
たことを特徴とする果菜収穫機の果菜類中心線検出方式
の構成とする。

【０００６】

【発明の作用】果菜収穫機で、きゅうりを検出して収穫
するときは、栽培した植条に沿って自走させながら、き
ゅうりの形状はカメラ２で撮影され、この検出した画像
信号を２値化して２値化画像が作成され、この２値化画
像上の中心線（イ）の検索は、この２値化画像の各画素
群の横方向の中央部画素位置が検出され、この中央部画
素の周囲を８分割して分割したそれぞれの区郭に所定点
数を付し、各画素群の上端部から下端部へと、中央部画
素を移動させて、通過する各画素の点数が検出され、こ
の点数の平均値が演算され、この算出した平均値が、中
央部画素の下側中央部の区郭に割り付けした点数の所定
値範囲内であると検出すると、上下方向に方向性をもつ
と判定され、この判定によってきゅうりであると検出さ
れ、又所定値範囲外であると検出すると、横方向である
と判定され、この判定によって葉であると検出されて、
きゅうりのみが収穫される。

【０００７】

【発明の効果】きゅうりは、未成熟のときは上方を向い
ているが、収穫適期になると垂直下向きになることによ
り、上下方向に方向性を持つものは、きゅうり、主茎及
び支持体（主柱）となるが、主茎及び支持体は多板式Ｃ
ＣＤカメラ２で撮影して２値化のときにカット処理され
ることにより、上下方向に方向性を持つものは、きゅう
りのみとなり、方向性を検出することにより、正確にき
ゅうりを検出することができる。

【０００８】

【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図例は、果菜収穫機１を示す図であり、例えば
きゅうりの形状をカメラ２で撮影して、この撮影した画
像を２値化し、この２値化画像上の中心線（イ）を検出
する検出方式について説明する。

【０００９】前記果菜収穫機１は、電動式の走行部３上
には、果菜類のきゅうり７収穫用のマニピュレ−タ４、
収穫するきゅうりの形状を撮像する多板式ＣＣＤカメラ
２、きゅうりの位置を検出する位置センサ５よりなる視
覚機構６を設けた構成としている。前記果菜収穫機１を
使用する栽培圃場は、斜めに設けた支持体９にきゅうり
７の樹体８を支持させて生育させる。

【００１０】前記マニピュレ−タ４は、対面する樹体８
の傾斜とほぼ平行となるように傾斜させた傾斜枠１０
と、該傾斜枠１０のガイドレ−ル１１に沿って昇降自在
に装着した基台１２と、該基台１２の上に水平状に回動
自在に設けた本体１３と、該マニピュレ−タ４に設けた
関節型を形成するア−ム１４と、該ア−ム１４の先端部
に設けたきゅうり７を挟持して切断するハンド装置１５
とからなる構成である。

【００１１】前記傾斜枠１０は、ヒンジ１６を用いて走
行部３に装着させ、背面側を支持リンク１７で支えてい
る。該支持リンク１７の下端部は、支持板１９′の長孔
１８の任意位置へ装着され、この装着位置を調節して該
傾斜枠１０の傾斜角度を任意に調節することのできる構
成としている。マニピュレ−タ４の各部を作動させるこ
とにより、ハンド部１５を収穫対象とするきゅうり７を
挟持して、このきゅうり７の果柄部を切断する構成とし
ている。

【００１２】前記視覚機構６は、図２の如く、多板式Ｃ
ＣＤカメラ２、この多板式ＣＣＤカメラ２の視野内を水
平及び垂直に走査して、対象物のきゅうり７までの距離
を測定する位置センサ５及び、該多板式ＣＣＤカメラ２
で、所定の波長の光で撮影した画像を取り込むときの照
度を検出する照度センサ１９等よりなる構成である。方
向検出制御手段２０は、図１及び図２の如く、視覚機構
６内へ設け、多板式ＣＣＤカメラ２、位置センサ５及び
照度センサ１９が検出する各種検出が、入力回路２１を
経てＣＰＵ２２へ入力され、このＣＰＵ２２で分析処理
されて、各種指令が出力回路２３を経て指令され、マニ
ピュレ−タ４等を作動する構成としている。

【００１３】方向検出制御手段２０は、多板式ＣＣＤカ
メラ２で撮影して、これによって得られる検出画像信号
が、ＣＰＵ２３へ入力されて２値化され、２値化画像が
作成され、この２値化画像上の中心線（イ）が検出さ
れ、この中心線（イ）が上下方向の方向性のあるもの
は、きゅうり７であると判定され、又方向性のないもの
は、きゅうり以外の葉であると判定する構成である。

【００１４】前記中心線（イ）の検索は、図４〜図８の
如く、２値化画像の各画素群の横方向の中央部画素位置
が検出され、この中央部画素の周囲を８分割して、この
分割したそれぞれの区郭に、図４の如く所定の点数を付
して、図５の如く検索方法で、各画素群の上端部から下
端部へと、中央部画素を移動させて、通過する各画素の
点数が図６の如く検出され、図７の如く画素群の各画素
の横方向の中央画素位置により、図８の如く中心線
（イ）が検出される。又、点数の平均値が演算され、こ
の演算した平均値が、図５の中央部画素の下側中央部の
７点近傍であると検出すると、上下方向に方向性をもつ
と判定されて、きゅうり７であると検出される。

【００１５】又平均点数が３点以下であると検出する
と、横方向であると判定され、きゅうり７以外で葉であ
ると検出される構成としている。図９の如く検出した２
値化画像は、図１０の如く中心線（イ）が検出され、こ
れら検出された中心線（イ）の内から、（Ａ），
（Ｃ），（Ｅ），（Ｈ）は方向性によってカット処理さ
れ、残された中心線の下端とその線の下方にある中心線
の上端とが線でむすばれる。例えば中心線（Ｂ）の下端
部と中心線（Ｄ）の上端部とが線でむすばれ、上記の要
領でこれらむすばれた中心線の方向性が算出され、算出
された値が上下側の中心線（中心線（Ｂ）と中心線
（Ｄ）の値）と同等であれば同一のきゅうり７であると
検出される構成である。

【００１６】中心線（Ｄ）と中心線（Ｆ）、又中心線
（Ｄ）と中心線（Ｇ）とをむすぶと、むすばれた中心線
の方向性は下方にならないことにより、中心線（Ｄ）と
（Ｆ）及び中心線（Ｄ）と（Ｇ）とは、同一のきゅうり
７でないと検出される構成である。上記によって葉等に
よって２値化画像の一部が切断された状態であっても、
一体のきゅうり７であるか否かの検出ができる構成とし
ている。

【００１７】図７の如く検出した２値化画像上の中心線
（イ）が検出され、この中心線の検索のときに、図４の
５点と９点との点数を示す画素の個数Ｘ５とＸ９とが検
出され、これら検出した画素個数がＸ５＜Ｘ９であると
検出されると、このきゅうり７は右曲がりと検出され、
又Ｘ５＞Ｘ９であると検出されると、このきゅうり７は
左曲がりと検出する構成としている。上記によってきゅ
うりの曲がり状態が検出できる構成としている。

【００１８】次に、以上のように構成する本発明実施例
のきゅうり７の２値化画像上からの中心線（イ）を検出
方式の制御は、図３のフロ−チャ−トを参照に説明す
る。方向検出制御手段２０による中心線（イ）検索制御
は、下記の如く行われる構成としている。きゅうり７の
収穫作業が開始され（ステップ１０１）開始点の検索走
査されて、各画素群の横方向の中央部画素位置が検出さ
れ（ステップ１０２）、図５の如く反時計回りで検索さ
れ（ステップ１０３）、ｆ＝１か検出され（ステップ１
０４）、ＮＯと検出されるとステップ１０３へ戻り、Ｙ
ＥＳと検出されるとｆ₀位置が追跡済みとマ−クされ
（ステップ１０５）、求める点（ｆｉ）を追跡済みか検
出され（ステップ１０６）、ＮＯと検出されると求める
点（ｆｉ）に点数付けされ（ステップ１０７）、求める
点（ｆｉ）に着目点のマ−クされてステップ１０３へ戻
る構成である（ステップ１０８）。ＹＥＳと検出される
と検出した点数の平均値が演算され（ステップ１０
９）、平均値が５以上であるか検出され（ステップ１１
０）、ＮＯと検出されると消去され（ステップ１１
１）、他に中心線（イ）があるか検出され（ステップ１
１２）、ＹＥＳと検出されるとステップ１０２へ戻る。
ＮＯと検出されると終了であると検出する構成としてい
る（ステップ１１３）。

【００１９】ステップ１１０でＹＥＳと検出されると近
傍の中心線（Ａ）と結合され（ステップ１１４）、中心
線（Ａ）長さと所定値（ｘドット）とが比較され、長さ
≧所定値（ｘドット）か検出され（ステップ１１５）、
ＹＥＳと検出されるときゅうり７であると検出され（ス
テップ１１６）、他に中心線（イ）があるが検出され
（ステップ１１７）、ＹＥＳと検出されるとステップ１
０２へ戻り、ＮＯと検出されると終了であると検出する
構成としている（ステップ１１８）。

【００２０】ステップ１１５でＮＯと検出されると下方
に中心線（イ）があるか検出され（ステップ１１９）、
ＮＯと検出されるときゅうり７でないと検出され（ステ
ップ１２０）、ステップ１１７へ進む構成である。ステ
ップ１１９でＹＥＳと検出されると上側の中心線（Ａ）
の方向性が算出され（ステップ１２１）、下側の中心線
（Ａ）の方向性が算出され（ステップ１２２）、方向性
が一致したか検出され（ステップ１２３）、ＮＯと検出
されるとステップ１１９へ戻る構成であり、ＹＥＳと検
出されると上下の中心線（Ａ），（Ａ）が結合されてス
テップ１１５へ戻る構成としている（ステップ１２
４）。

【００２１】以下、上記実施例の作用について説明す
る。果菜収穫機１で、例えば果菜類がきゅうり７であ
り、このきゅうり７を検出して収穫するときは、栽培さ
れた植条に沿って、この果菜収穫機１を自走させなが
ら、きゅうり７の形状は、視覚機構６の多板式ＣＣＤカ
メラ２で、所定の波長の光で撮影される。

【００２２】この撮影した画像をＣＰＵ２２へ入力され
て２値化して２値化画像が作成され、この２値化画像上
の中心線（イ）を検出するが、この中心線（イ）の検索
は、この２値化画像の各画素群の横方向の中央部画素位
置が検出され、この中央部画素の周囲を８分割して、こ
の分割したそれぞれの区郭に点数を、例えば上段は全て
１と付し、中段の左右両側は３を付し、下段は右側から
９，７，５と付し、各画素群の上端部から下端部へと順
次中央部画素を移動されて、通過する各画素の点が検出
され、この点数の平均値が演算され、この演算した平均
値が７点近傍であると検出されると、中心線（イ）は上
下方向に方向性をもつと判定され、この判定によってき
ゅうり７であると検出される。又平均値が７点近傍以外
の３点及び１点等であると検出されると、中心線（Ａ）
は横方向に方向性をもつと判定され、この判定によって
葉と検出されて、きゅうり７のみが収穫される。

【００２３】他の実施例の果菜収穫機２４及びこの果菜
収穫機２４の視覚機構２５とコントロ−ラ２６を内装し
たコントロ−ラ機構２７とは図１１〜図１３に示す。前
記視覚機構２５は、図１１及び図１２の如く、前部には
カメラ用レンズ２８を設け、このカメラ用レンズ２８後
側には分光器２９を設け、この分光器２９横側にはスト
ロボ３０を設け、上側には、例えば波長８５０ｎｍの時
の照度と波長５５０ｎｍの時の照度とを検出する照度セ
ンサ（Ａ）（３１ａ），（Ｂ）（３１ｂ）を設け、後側
には２台の多板式ＣＣＤカメラ（Ａ）（３２ａ），
（Ｂ）（３２ｂ）とを設けた構成であり、この視覚機構
２５は本体１３上側に装着した構成としている。

【００２４】前記多板式ＣＣＤカメラ（Ａ）（３２
ａ），（Ｂ）（３２ｂ）は、波長８５０ｎｍ及び５５０
ｎｍのときの干渉フィルタ（Ａ）（４６ａ），（Ｂ）
（４６ｂ）を設け、外乱光に含まれる波長８５０ｎｍと
５５０ｎｍの成分の濃度値を、それぞれの干渉フィルタ
（Ａ）（４６ａ），（Ｂ）（４６ｂ）を取付けたフォト
ダイオ−ドによって換算し、２値化画像作成のためのし
きい値の算出を容易にした構成であり、波長８５０ｎｍ
及び５５０ｎｍでの入力画像で、それぞれの濃度値の比
によって、果実を識別するときに、太陽光の成分は、天
候によって異なるためにしきい値を上下させながら合せ
込む必要があったが、その太陽光の成分を随時把握して
おくことにより、どの環境下でも定量的に果実の反射成
分を知ることができ、しきい値を容易に算出できる構成
としている。

【００２５】前記コントロ−ラ機構２７は、図１２及び
図１３の如く、箱形状でこの箱体内にはコントロ−ラ２
６を内装して設け、このコントロ−ラ機構２７は走行部
３に装着した構成であり、このコントロ−ラ機構２７内
の該コントロ−ラ２６と多板式ＣＣＤカメラ（Ａ）（３
２ａ），（Ｂ）（３２ｂ）、ストロボ３０及び照度セン
サ（Ａ）（３１ａ），（Ｂ）（３１ｂ）とはコ−ド（３
３ａ），（３３ｂ），（３３ｃ）で連接して通信可能に
構成している。

【００２６】前記コントロ−ラ２６は、ＯＣＲ３４から
の信号を受け、多板式ＣＣＤカメラ（Ａ）（３２ａ），
（Ｂ）（３２ｂ）を作動させる信号を発生する駆動パル
ス発生回路３５、この駆動パルス回路３５からドライバ
（Ａ）（３６ａ），（Ｂ）（３６ｂ）を設け、このドラ
イバ（Ａ）（３６ａ）からレシ−バ（Ａ）（３７ａ）を
経て該多板式ＣＣＤカメラ（Ａ）（３２ａ）を作動さ
せ、又該ドライバ（Ｂ）（３６ｂ）からレシ−バ（Ｂ）
（３７ｂ）を経て該多板式ＣＣＤカメラ（Ｂ）（３２
ｂ）を作動させる構成である。

【００２７】前記コントロ−ラ２６は、多板式ＣＣＤカ
メラ（Ａ）（３２ａ），（Ｂ）（３２ｂ）からの信号を
受けて、ビデオ信号に変換する信号処理回路３８、この
信号処理回路３８からのビデオ信号（アナログ）をデジ
タルに変更するＡ／Ｄ変換回路３９、このＡ／Ｄ変換回
路３９からのデジタル信号を入力する画像メモリ４０、
画像処理チップ等で構成されて、高速画像処理を行う画
像処理回路４１、ＵＰＵ４２、ビデオ信号を基にストロ
ボ３０の発光タイミング及びＡ／Ｄ変換の開始タイミン
グを取るタイミング回路４３、該ストロボ３０を駆動す
るストロボ回路４４、照度センサ（Ａ）（３１ａ），
（Ｂ）（３１ｂ）の検出値をＡ／Ｄ変換するＡ／Ｄ変換
回路４５等よりなる構成としている。

【００２８】前記干渉フィルタ（Ａ）（４６ａ），
（Ｂ）（４６ｂ）を使用して得た画像のそれぞれの濃度
値の比により、きゅうり７を識別するときは、演算画像
ではきゅうり７内で鏡面反射部分があって空白になって
しまうが、これを波長８５０ｎｍの画像デ−タの内濃度
が高い画素によって補うときは、きゅうり７と思われる
部分のみを図１４〜図１６の如く補う構成である。

【００２９】輪郭抽出後下方向に方向性を持つもののみ
を残し、同じラベリング内の輪郭の内一対の平行線が存
在するときは、その内側及び上下数拾画素とし、平行線
がないときは、内側に数拾画素、上下に数拾画素をエリ
ア設定する。（左右方向への数拾画素はきゅうり７の
径、上下方向はきゅうり７の長さに相当する画素数）、
設定したエリア内のみ干渉フィルタ（Ａ）（４６ａ）で
波長８５０ｎｍで入力した画像デ−タの内、濃度の高い
方から演算画像を重ねる構成である。

【００３０】次に、以上のように構成する本発明の他の
実施例の果実収穫機２４で、演算画像の制御は、図１７
のフロ−チャ−トを参照に説明する。きゅうり７の収穫
作業が開始され（ステップ２０１）、波長８５０ｎｍと
５５０ｎｍのときの画像が入力され（ステップ２０
２）、各照度センサ（Ａ）（３１ａ），（Ｂ）（３１
ｂ）により、各波長８５０ｎｍと５５０ｎｍの時の光量
検出され（ステップ２０３）、入力画像が演算されて演
算画像が検出され（ステップ２０４）、しきい値が算出
され（ステップ２０５）、演算画像が２値化され（ステ
ップ２０６）、２値化画像から輪郭線が抽出され（ステ
ップ２０７）、輪郭線が検索され（ステップ２０８）、
輪郭線は下方に方向性があるか検出され（ステップ２０
９）、ＹＥＳと検出されると重ね合せてエリアが設定さ
れ（ステップ２１０）、波長８５０ｎｍの画像が２値化
され（ステップ２１１）、演算画像へ重ね合せられ（ス
テップ２１２）、全て検索したか検出され（ステップ２
１３）、ＮＯと検出されるとステップ１０８へ戻り、Ｙ
ＥＳと検出すると終了する構成である（ステップ２１
４）。

【００３１】又ステップ２０９でＮＯと検出するとステ
ップ２１３へ進む構成としている。上記により、きゅう
り７の識別時間が短縮でき、輪郭がいつも同等レベルで
把握できる。（きゅうり認識画素数／実きゅうり認識画
素数＝一定）更にきゅうり７認識のためには不要部分が
少なくなくなり、このために認識アルゴリズムが簡素化
できる。又ラベリングによって得られた画像群が少なく
なり、画像処理時間が短縮できるし、きゅうり７の輪郭
が他の画像群とひっつくことがなくなり、きゅうり７の
認識率が高くなった。

【図面の簡単な説明】

図はこの発明の一実施例を示す。

【図１】果菜類栽培圃場における果菜収穫機の全体正面
図。

【図２】ブロック図。

【図３】フロ−チャ−ト。

【図４】点数配分図。

【図５】中心線の検索方法図。

【図６】中心線の検出方式と点数との関係図。

【図７】きゅうりの画素図と中心線との関係図。

【図８】きゅうりの画素図と中心線との関係図。

【図９】画像図と中心線との関係図。

【図１０】画像図と中心線との関係図。

【図１１】他の実施例の果菜類栽培圃場における果菜収
穫機の全体正面図。

【図１２】他の実施例の視覚機構及びコントロ−ル機構
の拡大斜視図。

【図１３】他の実施例のブロック図。

【図１４】他の実施例の入力画像図。

【図１５】他の実施例の入力画像図。

【図１６】他の実施例の演算画像図。

【図１７】他の実施例のフロ−チャ−ト図。

【符号の説明】

２カメラ２０方向検出制御手段イ中心線

Claims

(57)【特許請求の範囲】

【請求項１】果菜類を含む所定範囲をカメラ２で撮影
し、これによって得られる検出画像信号を２値化し該２
値化画像上の各画素群の中心線（イ）を検出して該中心
線（イ）が方向性を有するものについては果菜類である
と判定し、方向性のないものについては葉等であると判
定する果菜収穫機において、該中心線（イ）の検索は中
央部画素の周囲を８分割してそれぞれに所定点数を付し
て該各画素群の一端部から他端部へ該中央部画素を移動
させて各画素の点数を検出して平均値を演算し、該平均
値によって該中心線（イ）の方向性を検出する方向検出
制御手段２０を設けたことを特徴とする果菜収穫機の果
菜類中心線検出方式。