JPH0823748A - 果菜収穫機の果菜類検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 収穫しようとするきゅうりを正確に検出しよ
うとするものである。 【構成】 カラーカメラ２で撮影して得た画像信号は、
視覚手段６でＲ色（赤）、Ｇ色（緑）及びＢ色（青）信
号の中から、Ｒ色−Ｂ色、又Ｇ色−Ｒ色から各輝度差画
像が検出され、これら輝度差画像が２値化され、２値化
画像が作成されて、この２値化画像によって、きゅうり
であるか又は葉であるかが検出される。 【効果】 きゅうり判定は輝度の相対値を用いることに
より、正確にきゅうりが検出できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、果菜収穫機の果菜類
検出装置に関する。

【０００２】

【従来の技術、及び発明が解決しようとする課題】従来
は、果菜収穫機で、例えば果菜類がきゅうりであり、こ
のきゅうりを検出して収穫するときは、栽培された植条
に沿って自走しながら、きゅうりの形状はカメラで撮影
されて、この撮影によって得られる検出された画像信号
を２値化して２値化画像が作成され、この２値化画像の
輪郭の縦と横との比が算出され、この算出した比によっ
てきゅうりであるか、又はきゅうり以外の葉であるかが
判定され、きゅうりのみが収穫される。

【０００３】上記のきゅうり収穫作業のときに、カメラ
できゅうりを撮影のとき、きゅうりと葉とが重なった状
態で撮影されると、２値化画像はきゅうりと葉とが一体
になった画像となり、このため縦・横の比が変って、き
ゅうりでないと誤検出されることがあったが、これを解
消して正確にきゅうりを検出させて、正確にきゅうりを
収穫させようとするものである。

【０００４】

【課題を解決するための手段】この発明は、果菜類を含
む所定範囲をカラーカメラ２で撮影し、これらによって
得られる検出画像信号を２値化し、２値化画像を作成す
る視覚手段６を設けた果菜収穫機において、該カラーカ
メラ２からのＲ色（赤）、Ｇ色（緑）及びＢ色（青）信
号の中から該Ｇ色（緑）−該Ｒ色（赤）の輝度差画像、
及び該Ｒ色（赤）−該Ｂ色（青）の輝度差画像を検出
し、これら検出輝度差画像に基づいて果菜類であるか否
かを検出する検出制御装置２０を設けたことを特徴とす
る果菜収穫機の果菜類検出装置の構成とする。

【０００５】

【発明の作用、及び効果】果菜収穫機では、きゅうりを
検出して収穫するときは、栽培された植条に沿って自走
させながら、きゅうりの形状をカラーカメラ２で撮影さ
れ、この撮影によって得られる検出された画像信号は、
視覚手段６でＲ色（赤）、Ｇ色（緑）及びＢ色（青）の
信号の中から、Ｒ色（赤）−Ｂ色（青）でＧ色（緑）系
部分の抽出する処理が行われて、輝度差画像（イ）が検
出され、又Ｇ色（緑）−Ｒ色（赤）で濃いＧ色（緑）の
部分の抽出する処理が行われて、輝度差画像（ロ）が検
出され、これら輝度差画像（イ）−輝度差画像（ロ）で
Ｇ色（緑）中から濃いＧ色（緑）部分を除く処理が行わ
れて、輝度差画像（ハ）が検出されて、この輝度差画像
（ハ）を２値化して２値化画像が作成され、この２値化
画像から、きゅうりであるか、又は葉であるかが検出さ
れ、きゅうりであると検出された、このきゅうりのみが
収穫される。

【０００６】上記によって、カラーカメラ２は汎用のカ
メラを使用することができて、低コストであり、又きゅ
うりの検出には、輝度の相対値を用いることにより、明
るさの影響を受けにくく、このために、正確にきゅうり
を検出することができる。

【０００７】

【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図例は、果菜収穫機１を示す図であり、例えば
きゅうりの形状をカラーカメラ２で撮影して、この撮影
によって得られる検出された画像信号は、視覚手段６で
Ｒ色（赤）、Ｇ色（緑）及びＢ色（青）の信号の中から
Ｒ色（赤）−Ｂ色（青）の輝度差画像（イ）が検出さ
れ、又Ｇ色（緑）−Ｒ色（赤）の輝度差画像（ロ）が検
出され、これら輝度差画像（イ）−輝度差画像（ロ）で
輝度差画像（ハ）が検出され、この輝度差画像（ハ）を
２値化して、この２値化画像を作成して、この２値化画
像から、きゅうり７を検出する果菜類検出装置について
説明する。

【０００８】前記果菜収穫機１は、電動式の走行部３上
には、果菜類のきゅうり７収穫用のマニピュレータ４、
収穫するきゅうりの形状を撮影するカラーカメラ２、き
ゅうりの位置を検出する位置センサ５よりなる視覚手段
６を設けた構成としている。前記果菜収穫機１を使用す
る栽培圃場は、斜めに設けた支持体９にきゅうり７の樹
体８を支持させて生育させる。

【０００９】前記マニピュレータ４は、対面する樹体８
の傾斜とほぼ平行となるように傾斜させた傾斜枠１０
と、該傾斜枠１０のガイドレール１１に沿って昇降自在
に装着した基台１２と、該基台１２の上に水平状に回動
自在に設けた本体１３と、該マニピュレータ４に設けた
関節型を形成するアーム１４と、該アーム１４先端部に
設けたきゅうり７を挟持して切断するハンド装置１５と
からなる構成である。

【００１０】前記傾斜枠１０は、ヒンジ１６を用いて走
行部３に装着させ、背面側を支持リンク１７で支えてい
る。該支持リンク１７の下端部は、支持板１９の長孔１
８の任意位置へ装着され、この装着位置を調節して該傾
斜枠１０の傾斜角度を任意に調節することのできる構成
としている。マニピュレータ４の各部を作動させること
により、ハンド装置１５を収穫対象とするきゅうり７を
挟持して、このきゅうり７の果柄部を切断する構成とし
ている。

【００１１】前記視覚手段６は、図２の如く、カラーカ
メラ２、このカラーカメラ２の視野内を水平及び垂直に
走査して、対象物のきゅうり７までの距離を測定する位
置センサ５及び該カラーカメラ２で、所定の波長の光で
撮影した画像を取り込むときの照度を検出する照度セン
サ１９′等よりなる構成である。検出制御装置２０は、
図１及び図２の如く、視覚手段６内へ設け、カラーカメ
ラ２、位置センサ５及び照度センサ１９′が検出する各
種検出が、入力回路２１を経てＣＰＵ２２へ入力され、
このＣＰＵ２２で分析処理されて、各種指令が出力回路
２３を経て指令され、マニピュレータ４等を作動する構
成としている。

【００１２】前記検出制御装置２０は、カラーカメラ２
で撮影して、これによって得られる検出画像信号は、視
覚手段６でＲ色（赤）、Ｇ色（緑）及びＢ色（青）の信
号の中から、Ｒ色（赤）−Ｂ色（青）でＧ色（緑）系部
分の抽出処理が行われて、輝度差画像（イ）が検出さ
れ、又Ｇ色（緑）−Ｒ色（赤）で濃いＧ色（緑）の部分
の抽出処理が行われて、輝度差画像（ロ）が検出され、
これら輝度差画像（イ）−輝度差画像（ロ）でＧ色
（緑）中から濃いＧ色（緑）部分を除く処理が行われ
て、輝度差画像（ハ）が検出され、この輝度差画像
（ハ）が２値化され、２値化画像が作成され、この２値
化画像が該検出制御装置２０のＣＰＵ２２へ入力され、
この２値化画像からきゅうり７であるか、又は葉及び茎
であると検出されて、この検出により、きゅうり７であ
ると検出されたときは、ハンド装置１５で挟持されると
共に、切断される構成であり、又この検出により、葉及
び茎であると検出されたときは、該ハンド装置１５で挟
持及び切断されない構成としている。図３は原画像であ
り、図４は（Ｒ色−Ｂ色）−（Ｇ色−Ｒ色）を２値化処
理された２値化処理画像である。

【００１３】前記検出制御装置２０によるきゅうり７の
検出手段制御は、下記の如く行われる構成としている。
きゅうり７の収穫作業がスタートされ（ステップ１０
１）、カラーカメラ２で撮影されたカラー画像が入力さ
れ（ステップ１０２）、検出画像信号のＲ色（赤）−Ｂ
色（青）でＧ色（緑）系部分の抽出処理が行われて、輝
度差画像（イ）が検出され（ステップ１０３）、又Ｇ色
（緑）−Ｒ色（赤）で濃いＧ色（緑）の部分の抽出処理
が行われて、輝度差画像（ロ）が検出され（ステップ１
０４）、これら輝度差画像（イ）−輝度差画像（ロ）で
Ｇ色（緑）中から濃いＧ色（緑）部分を除く処理が行わ
れて、輝度差画像（ハ）が検出され（ステップ１０
５）、この輝度差画像（ハ）が２値化されて、２値化画
像が作成され、この２値化画像からきゅうり７である
か、又は葉及び茎であるかが検出され（ステップ１０
６）、ＲＥＴされる構成としている（ステップ１０
７）。

【００１４】以下、上記実施例の作用について説明す
る。果菜収穫機１で、例えば果菜類がきゅうり７であ
り、このきゅうり７を検出して収穫するときは、栽培さ
れた植条に沿って、この果菜収穫機１を自走させなが
ら、きゅうり７の形状は、視覚手段６のカラーカメラ２
で、所定の波長の光で撮影される。

【００１５】この撮影によって得られる検出されたされ
た画像信号のＲ色（赤）、Ｇ色（緑）及びＢ色（青）の
信号の中から、Ｒ色（赤）−Ｂ色（青）で輝度差画像
（イ）が検出され、又Ｇ色（緑）−Ｒ色（赤）で輝度差
画像（ロ）が検出され、これら輝度差画像（イ）−輝度
差画像（ロ）で輝度差画像（ハ）が検出されて、検出制
御装置２０のＣＰＵ２２へ入力されて２値化され、２値
化画像が作成され、この２値化画像から、きゅうり７で
あるか、又は葉及び茎であるかが検出され、きゅうり７
であると検出された、このきゅうり７のみがハンド装置
１５で挟持されると共に、切断されて収穫される。

【００１６】図６〜図１３は他の実施例を示す図で、き
ゅうり７の果実中央部の径から、この果実長の推定を行
い、収穫可能なきゅうり７の果実の仮判定を行う構成で
あり、図６は、きゅうり７の果実、葉、果柄及び茎等を
表示した図であり、果実部の中央部の径を検出させる構
成である。図７は傾斜栽培角７０°で栽培したきゅうり
７（９１本）の果実部の隠れている箇所数の割合を示す
図である。図８は、きゅうり７の果実が１箇所のみが隠
れているきゅうり７の隠れの状態を示す図である。図９
は、栽培方法、測定方向、テスト結果の内の相関係数に
ついて、きゅうり７の果実長との相関、相関係数の差、
果実中央の相関係数の９５％信頼区間及び曲がり補正に
よる相関係数の変化等を示す図である。図１０は、テス
ト結果の内の回帰によるきゅうり７の果実長の推定精度
について、曲がり補正なし、曲がり補正あり等を示す図
である。図１１及び図１２はきゅうり７の果実長の９５
％信頼区間推定図である。

【００１７】前記検出制御装置２０によるきゅうり７の
果実中央部の径から、この果実長の推定を行い、収穫可
能なきゅうり７の果実であるか否かの判定制御は、下記
の如く行われる構成としている。きゅうり７の収穫作業
がスタートされ（ステップ２０１）、カラーカメラ２で
撮影された画像が入力され（ステップ２０２）、きゅう
り７の果実の識別が行われ（ステップ２０３）、画像内
の果実の数が測定されてｎ個であると検出され（ステッ
プ２０４）、測定個数のｎ個がリセットされ（ステップ
２０５）、ｎ個がｎ個＋１か検出され（ステップ２０
６）、きゅうり７の果実が完全露出しているか検出され
（ステップ２０７）、ＮＯと検出されると果実の中央
部、又は果柄部か検出され（ステップ２０８）、ＹＥＳ
（中央部）と検出されると果実長が推定され（ステップ
２０９）、このきゅうり７の果実位置データがセーブさ
れ（ステップ２１０）、きゅうり７が全て測定されたか
検出され（ステップ２１１）、ＮＯと検出されるとステ
ップ２０６へ戻る。ＹＥＳと検出されるとＲＥＴされる
構成としている（ステップ２１２）。

【００１８】ステップ２０７でＹＥＳと検出されるとき
ゅうり７の果実長が計算され（ステップ２１３）、ステ
ップ２１０へ進む構成であり、又ステップ２０８でＮＯ
と検出されるとステップ２１１へ進む構成としている。
上記の構成にしたことにより、きゅうり７の果実の完全
露出は約６０％程度であり、このためきゅうり７の果実
の収穫率の向上を図るためには、障害物に隠れている果
実長の推定を行って収穫する必要があり、果実径として
は、果柄部、中央部の果実径と果実長の間で相関が認め
られ、その内で、中央部の方が相関が強いことにより、
果実長と果実径（中央部）の回帰式から果実長の推定を
行うことにより、収穫率の向上を図ることができる。果
実長の推定精度は、標準正規分布より±１６〜１８ｍｍ
の誤差で約７０％収穫が可能であり、この値はきゅうり
７の果実の選別規格の範囲内に入ることにより、問題に
なることなく、きゅうり７の収穫ができる。

【００１９】図１４〜図１７は、他の実施例を示す図
で、図１４は、果菜収穫機２４の全体正面図である。図
１５は、果菜収穫機２４の全体平面図である。図１６は
ブロック図である。図１７はフローチャートである。果
菜収穫機２４は、車体２５下側の前部の左右両側には前
車輪２６，２６を回転自在に設け、又車体２５下側の後
部の左右両側には後車輪２７，２７を回転自在に設け、
左側の該後車輪２７は駆動モータ（Ａ）２８で回転駆動
させ、右側の該後車輪２７は駆動モータ（Ｂ）２９で回
転駆動する構成としている。

【００２０】誘導センサ前（左）、（右）３０ａ，３０
ｂは、前車輪２６，２６の後方部に設け、又誘導センサ
後（左）、（右）３１ａ，３１ｂは、後車輪２７，２７
の後方部に設けている。磁気センサ３２は、前車輪２
６，２６後方の中間部に設けている。又ターン関節用エ
ンコーダ３３，３３は、前車輪２６，２６内側に設けて
いる。３４はターン関節原点ＳＷである。

【００２１】傾斜板３５は、車体２５上側に設け、この
傾斜板３５は、ターン関節モータ３６の回転によって、
きゅうり７の樹体８の傾斜とほぼ平行となるように傾斜
させる構成である。ＣＣＤカメラ３７は、ステアリング
モータ３８上部に設け、このステアリングモータ３８で
該ＣＣＤカメラ３７、マニピュレータ３９、アーム４０
及びハンド装置４１等の収穫部全体を回動調節する構成
としている。

【００２２】ＣＰＵ４２は、誘導センサ前（左）、
（右）３０ａ，３０ｂ、誘導センサ後（左）、（右）３
１ａ，３１ｂの検出電圧値が入力され、又磁気センサ３
２の検出値、ターン関節用エンコーダ３３，３３の検出
値及びターン関節原点ＳＷの操作等が入力される構成で
あり、このＣＰＵ４２からの出力指令で各種モータ２
８，２９，３６，３８等が回転駆動する構成としてい
る。

【００２３】前記果菜収穫機２４は、走行を停止した状
態での畝溝の中央線とのずれ（角度）を検出し、このず
れ分だけ車体２５上部のＣＣＤカメラ３７を有する収穫
部を水平方向へ回転させ、収穫対象の棚（樹体８）と該
ＣＣＤカメラ３７の光軸とが直角になるように構成して
いる。前記ＣＰＵ４２による収穫部の制御は、下記の如
く行われる構成としている。

【００２４】きゅうり７の収穫作業がスタートされ（ス
テップ３０１）、畝間を果菜収穫機２４の走行が開始さ
れ（ステップ３０２）、停止位置が検出され（ステップ
３０３）、移動機構（走行）が停止され（ステップ３０
４）、各誘導センサ前（左）、（右）３０ａ，３０ｂ、
後（左）、（右）３１ａ，３１ｂの電圧値が読み込みさ
れ（ステップ３０５）、該誘導センサ前（左）３０ａの
電圧値（ｇR1）−該誘導センサ前（右）３０ｂの電圧値
（ｇL1）＞補正有無基準値（ａ）であるか検出され（ス
テップ３０６）、ＮＯと検出されると該誘導センサ後
（左）３１ａの電圧値（ｇR2）−該誘導センサ後（右）
３１ｂの電圧値（ｇL2）＞補正有無基準値（ａ）である
か検出され（ステップ３０７）、ＹＥＳと検出されると
ターン関節の回転角（θT ）が次記式θT ＝ｔａｎ-1ｋ
によって計算され（ステップ３０８）、計算されたター
ン関節の回転角（θT ）＜０であるか検出され（ステッ
プ３０９）、ＹＥＳと検出されると左回転補正され（ス
テップ３１０）、ウエスト関節角＝ターン関節の回転角
（θT ）か検出され（ステップ３１１）、ＮＯと検出さ
れるとステップ３１０へ戻る。ＹＥＳと検出されると収
穫動作が開始される構成としている（ステップ３１
２）。

【００２５】ステップ３０６でＹＥＳと検出されるとス
テップ３０８へ進む。ステップ３０７でＮＯと検出され
るとステップ３１２へ進む構成であり、又ステップ３０
９でＮＯと検出されると右回転補正され（ステップ３１
３）、ウエスト関節角＝ターン関節の回転角（θT ）か
検出され（ステップ３１４）、ＮＯと検出されるとステ
ップ３１３へ戻る。ＹＥＳと検出されるとステップ３１
２へ進む構成としている。

【００２６】上記により、収穫対象物とＣＣＤカメラ３
７の位置関係とを常にほぼ一定にすることができ、これ
によって画像入力範囲を特定でき、画像の重ねしろを小
さくすることができる。画像処理範囲を小さくでき、処
理速度を向上させることができる。又収穫対象物までの
距離のばらつきが小さくなり、大きさ等の特微量の抽出
精度がきゅうり７の果実の位置によってのばらつきがな
くなった。

【図面の簡単な説明】

図は、この発明の一実施例を示すものである。

【図１】果菜類栽培圃場における果菜収穫機の全体正面
図

【図２】ブロック図

【図３】原画像図

【図４】（Ｒ色−Ｂ色）−（Ｇ色−Ｒ色）の２値化処理
画像図

【図５】フローチャート

【図６】他の実施例を示す図で、きゅうりの名称図

【図７】他の実施例を示す図で、きゅうりの隠れている
箇所数の割合図

【図８】他の実施例を示す図で、きゅうりの１箇所のみ
隠れているきゅうりの隠れ状態図

【図９】他の実施例を示す図で、テスト結果の相関係数
についての表示図

【図１０】他の実施例を示す図で、テスト結果の回帰に
よる果実長の推定精度表示図

【図１１】他の実施例を示す図で、きゅうり果長の９５
％信頼区間推定図

【図１２】他の実施例を示す図で、きゅうり果長の９５
％信頼区間推定図

【図１３】他の実施例を示す図で、ブロック図

【図１４】他の実施例を示す図で、果菜収穫機の全体正
面図

【図１５】他の実施例を示す図で、果菜収穫機の全体平
面図

【図１６】他の実施例を示す図で、ブロック図

【図１７】他の実施例を示す図で、フローチャート

【符号の説明】

２ カラーカメラ ６ 視覚手段 ２０ 検出制御装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】 果菜類を含む所定範囲をカラーカメラ２
   で撮影し、これらによって得られる検出画像信号を２値
   化し、２値化画像を作成する視覚手段６を設けた果菜収
   穫機において、該カラーカメラ２からのＲ色（赤）、Ｇ
   色（緑）及びＢ色（青）信号の中から該Ｇ色（緑）−該
   Ｒ色（赤）の輝度差画像、及び該Ｒ色（赤）−該Ｂ色
   （青）の輝度差画像を検出し、これら検出輝度差画像に
   基づいて果菜類であるか否かを検出する検出制御装置２
   ０を設けたことを特徴とする果菜収穫機の果菜類検出装
   置。