JP3451656B2 - 果菜類収穫機 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮影された画像信号を
処理してきゅうり等の果菜類を検出し収穫する果菜類収
穫機に関する。

【０００２】

【従来の技術】従来、この種の果菜類収穫機は、例え
ば、特開平５−５４１２４号公報に示されるように、対
象物を撮影するカメラを備えた視覚機構と、収穫する果
菜類（例えば、きゅうり）に向って移動してその果菜類
の果柄部を切断し収穫するハンド 装置と、前記視覚機構
で撮影した画像信号を入力し、入力された画像信号を２
値化して撮影された対象物の中から収穫すべき果菜類の
果体を検出する処理をし、検出した果菜類の果体を収穫
するよう前記ハンド装置を作動させる信号を出力する制
御装置を設けたものであった。また、当該公報に示され
る果菜類収穫機は、カメラで撮影した画像を２値化する
ときのしきい値は、カメラが撮影した画像信号の全画素
の信号レベルの平均を求め、その平均値からしきい値を
求めるようにしていた。

【０００３】

【発明が解決しようとする課題】しかしながら、上記公
報に記載の技術は、カメラが撮影した画像信号の全画素
の信号レベルの平均値からしきい値を求めるものなの
で、日中で日射が強いときにオーバー気味に撮影された
画像の場合は、前記の平均値が高いレベル側に偏ってし
まい、又、夕方になってダウン気味に撮影された画像の
場合は、前記の平均値が低いレベル側に偏ってしまっ
て、そのような平均値に基づいて求めたしきい値を用い
ると、２値化した画像にあって収穫対象物の輪郭がはっ
きりと現れず、収穫対象物を適確に検出できない問題が
ある。そこで、本発明は、日射の強さが変化しても、撮
影した画像から収穫対象物を適確に検出できるようにす
ることを課題とする。

【０００４】

【課題を解決するための手段】上記課題を解決するため
に、請求項１に記載の発明は、対象物を撮影するカメラ
２を備えた視覚機構８と、収穫する果菜類５に向って移
動してその果菜類５の果柄部を切断し収穫するハンド装
置１６と、前記視覚機構８で撮影した画像信号を入力
し、入力された画像信号を２値化して撮影された対象物
の中から収穫すべき果菜類５の果体を検出する処理を
し、検出した果菜類５の果体を収穫するよう前記ハンド
装置１６を作動させる信号を出力する制御装置２１を設
けた果菜類収穫機において、前記視覚機構８に、前記カ
メラ２の撮影時における照度を検出する照度センサ３を
前記カメラ２とは別に設け、前記制御装置２１に、前記
カメラ２で撮影された画像信号を２値化するときのしき
い値を、前記照度センサ３で検 出した照度と、照度が大
きいほどしきい値が大きくなるよう比例的に設定したし
きい値テーブルとに基づいて決定する手段を設けたこと
を特徴とする果菜類収穫機としたものである。また、請
求項２に記載の発明は、前記制御装置２１に設けたしき
い値を決定する手段は、前記照度センサ３で複数回検出
した照度から演算した平均照度と、照度が大きいほどし
きい値が大きくなるよう比例的に設定したしきい値テー
ブルとに基づいて、前記カメラ２で撮影された画像信号
を２値化するときのしきい値を決定する構成としたこと
を特徴とする請求項１に記載の果菜類収穫機としたもの
である。

【０００５】

【発明の作用及び効果】請求項１記載の発明は、上記構
成としたものなので、カメラ２の撮影時に、カメラ２と
は別に設けた照度センサ３が照度を検出し、その検出し
た照度と、照度が大きいときほどしきい値が大きくなる
ように比例的に設定したしきい値テーブルとにより、カ
メラ２が撮影した画像を２値化するときのしきい値を決
定して、そのしきい値に基づいて画像を２値化するの
で、日射の強さが変化しても適確なしきい値が設定さ
れ、撮影した画像から収穫対象物を適確に検出できる。
また、カメラが撮影した画像信号の全画素の信号レベル
の平均値からしきい値を求める前記従来技術よりもＣＰ
Ｕの処理負荷も低減できるものとなっている。

【０００６】請求項２記載の発明は、更に上記構成とし
たものなので、照度センサ３が複数回照度を検出し、そ
れらの照度から演算した平均照度と、照度が大きいほど
しきい値が大きくなるよう比例的に設定したしきい値テ
ーブルとに基づいて、カメラ２で撮影された画像信号を
２値化するときのしきい値を決定して、そのしきい値に
基づいて画像を２値化するので、照度センサが照度を検
出するときに、風などで揺れた葉が照度センサを一時的
に覆うような状態になったり、対象物からの反射光を強
く受けたりして、撮影時に一時的に照度が大きく変化す
る場合などがあっても、それによる影響が軽減される。

【０００７】

【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図例は、果菜類収穫機１を示す図であり、例え
ばきゅうりの形状をカメラ２で撮影した画像を取り込む
ときに、照度センサ３で複数回照度が検出され、平均照
度が演算されて、この平均照度と、ＣＰＵ２３に設定し
記憶させておいたしきい値テーブルとより、平均照度に
応じたしきい値を決定するものである。

【０００８】果菜類収穫機１は、電動式の走行部４上
に、果菜類であるきゅうり５収穫用のマニピュレータ
６、収穫するきゅうりの形状を撮影する多板式ＣＣＤカ
メラ２、きゅうりの位置を検出する位置センサ７及び波
長の異なる光で撮影した画像を取り込むときの照度を検
出する照度センサ３等よりなる視覚機構８を設けた構成
としている。

【０００９】前記果菜類収穫機１を使用する栽培圃場
は、斜めに設けた支持体９にきゅうり５の樹体１０を支
持させて生育させる。前記マニピュレータ６は、対面す
る樹体１０の傾斜とほぼ平行となるように傾斜させた傾
斜枠１１と、該傾斜枠１１のガイドレール１２に沿って
昇降自在に装着した基台１３と、該基台１３の上に水平
状に回動自在に設けた本体１４と、該マニピュレータ６
に設けた関節型を形成するアーム１５と、該アーム１５
先端部に設けたきゅうり５を挟持して切断するハンド装
置１６とからなる構成である。

【００１０】前記傾斜枠１１は、ヒンジ１７を用いて走
行部４に装着させ、背面側を支持リンク１８で支えてい
る。該支持リンク１８の下端部は、支持板１９の長孔２
０の任意位置へ装着され、この装着位置を調節して該傾
斜枠１１の傾斜角度を任意に調節することのできる構成
としている。マニピュレータ６の各部を作動させること
により、ハンド装置１６を収穫対象とするきゅうり５を
挟持して、このきゅうり５の果柄部を切断する構成とし
ている。

【００１１】前記視覚機構８は、図２の如く、多板式Ｃ
ＣＤカメラ２、この多板式ＣＣＤカメラ２の視野内を水
平及び垂直に走査して、対象物のきゅうり５までの距離
を測定する位置センサ７及び該多板式ＣＣＤカメラ２
で、例えば波長８５０ｎｍと５５０ｎｍのときの光で撮
影した画像を取り込むときの照度を検出する照度センサ
３等よりなる構成である。

【００１２】制御装置２１は、図２の如く、視覚機構８
に設けた多板式ＣＣＤカメラ２と位置センサ７及び照度
センサ３が検出する各種検出値が、入力回路２２を経て
ＣＰＵ２３へ入力され、このＣＰＵ２３で分析処理され
て、各種指令が出力回路２３を経て指令され、マニピュ
レータ６等を作動する構成としている。前記視覚機構８
の多板式ＣＣＤカメラ２は、この多板式ＣＣＤカメラ２
で波長の異なる複数の光で撮影した画像をＣＰＵ２３へ
入力するが、これら各々の波長のときの照度が照度セン
サ３で検出されその変換電圧が、例えば２個所以上の個
所を各々２回以上検出されて、該ＣＰＵ２３へ入力され
る。ＣＰＵ２３は、これら各々の波長のときに検出した
照度の平均照度を求め、これら平均照度の比を演算し、
この演算された照度の比の値によって、検出画像がきゅ
うり５の果体もしくは葉であるか、又はそれ以外の背景
画像であるかが粗選判定される構成としている。該照度
センサ３での検出は、１個所を２回以上の検出で平均照
度を演算する方式でもよい。尚、各波長のときに複数回
検出した照度から平均照度を演算してこの平均照度に基
づいて、しきい値テーブルにより、この平均照度に応じ
たしきい値の決定方式については後述する。

【００１３】次に、以上のように構成する本発明の実施
例において、きゅうり５を撮影した画像を２値化すると
きのしきい値を決定する制御、及び、きゅうり５の果体
か否かを判定する制御は、図３のフローチャートを参照
しつつ説明する。制御装置２１で行われるしきい値の決
定は、下記の如く行われる構成としている。

【００１４】きゅうり５の収穫作業が開始され（ステッ
プ１０１）、多板式ＣＣＤカメラ２で撮影する波長の光
は、例えば８５０ｎｍにフィルタがセットされ（ステッ
プ１０２）、波長８５０ｎｍで撮影された画像がＣＰＵ
２３へ入力され（ステップ１０３）、このときの照度と
して、照度センサ３の電圧が、例えば２個所以上の個所
を各々２回以上検出してこれらの電圧（ａ）が、ＣＰＵ
２３へ入力される（ステップ１０４）。又、１個所を２
回以上検出する構成とするもよい。

【００１５】更に、多板式ＣＣＤカメラ２で撮影する波
長の光は、例えば５５０ｎｍにフィルタがセットされ
（ステップ１０５）、波長５５０ｎｍで撮影された画像
がＣＰＵ２３へ入力され（ステップ１０６）、このとき
の照度として、照度センサ３の電圧が、例えば２個所以
上を各々２回以上検出してこれらの電圧（ｂ）が、ＣＰ
Ｕ２３へ入力される（ステップ１０７）。又、１個所を
２回以上検出する構成とするもよい。

【００１６】撮影された画像がきゅうり５の果体もしく
は葉であると粗選判定された場合において、ＣＰＵ２３
は照度センサ３で検出された各波長のときの電圧の平均
電圧（ｃ）を次式で算出する。即ち、平均電圧（ｃ）＝
[電圧（ａ）＋電圧（ｂ）]／２（ステップ１０８）で求
め、この平均電圧（ｃ）が平均照度に置換される。この
平均照度（ｘ）に基づいて、図４の如くＣＰＵ２３へ設
定して記憶させているしきい値テーブルから、この平均
照度（ｘ）のしきい値（ｙ）が決定され（ステップ１０
９）、この決定したしきい値（ｙ）を基にして入力画像
が２値化されて、２値化画像が作成される（ステップ１
１０）。この２値化画像の縦と横の比によって、きゅう
り５の果体であるか、又は葉であるかが検出され、更に
きゅうり５の果体であると検出されると、この２値化画
像の長さが検出され、この長さによってきゅうり５は、
収穫適期あるか、又は未成熟であるかが検出され、収穫
適期のきゅうり５は果柄部より切断されて収穫され、収
穫作業が終了する構成としている（ステップ１１１）。

【００１７】以下、上記実施例の作用について説明す
る。果菜類収穫機２で、例えば果菜類がきゅうり５であ
り、このきゅうり５を検出して収穫するときは、栽培さ
れた条に沿って、この果菜類収穫機１を自走させなが
ら、視覚機構８の多板式ＣＣＤカメラ２で、例えば波長
８５０ｎｍと５５０ｎｍの光で撮影される。

【００１８】この撮影された各画像をＣＰＵ２３へ入力
するときに、照度センサ３で各々の波長のときの照度
が、２個所以上の個所を各々２回以上検出して、これら
照度センサ３の検出電圧（ａ），（ｂ）が、該ＣＰＵ２
３へ入力されて、この電圧（ａ），（ｂ）が各々の波長
のときの各照度に置換され、又これらの各照度から平均
照度が演算され、各々の波長のときの各照度から照度比
が演算されて、きゅうり５の果体であるか、又は葉であ
るかが粗選判別される。

【００１９】更に演算した平均照度に基づいて、ＣＰＵ
２３に設定し記憶させておいたしきい値テーブルから、
この平均照度に対応するしきい値を決定し、この決定し
たしきい値を基にして画像が２値化されて、２値化画像
が作成され、この２値化画像の縦と横の比によって、き
ゅうり５の果体であるか、又は葉であるか検出され、更
にきゅうり５の果体であると検出されると、この２値化
画像の長さが検出され、この長さによってきゅうり５
は、収穫適期であるか、又は未成熟であるかが検出さ
れ、収穫適期のきゅうり５であると検出されると、ハン
ド装置１６がこのきゅうり５位置へ移動制御され、この
ハンド装置１６でこのきゅうり５の果柄部が切断されて
収穫される。

【００２０】他の実施例の果菜類収穫機２５及びこの果
菜類収穫機２５の視覚機構２６とコントローラ２７を内
装したコントローラ機構２７′とは図５〜図８に示す。
前記視覚機構２６は、図５及び図６の如く、前部にはカ
メラ用レンズ２８を設け、このカメラ用レンズ２８後側
には分光器２９を設け、この分光器２９横側にはストロ
ボ３０を設け、後側には２台の多板式ＣＣＤカメラ
（Ａ）３１ａ及び（Ｂ）３１ｂを設けた構成であり、こ
の視覚機構２６は本体１４上側に装着した構成としてい
る。

【００２１】前記分光器２９は、カメラ用レンズ２８か
らの画像用の光の一部をダイロックミラー（Ａ）３２
ａ、例えば波長８５０ｎｍの光のみを通す干渉フィルタ
（Ａ）３３ａ、ＮＤフィルタ（Ａ）３４ａを通過して多
板式ＣＣＤカメラ（Ａ）３１ａで撮影する構成であり、
又該カメラ用レンズ２８から画像用の光が該ダイロック
ミラー（Ａ）３２ａで反射した光の一部をダイロックミ
ラー（Ｂ）３２ｂ、例えば波長５５０ｎｍの光のみを通
す干渉フィルタ（Ｂ）３３ｂ、ＮＤフィルタＢ）３４ｂ
を通過して多板式ＣＣＤカメラ（Ｂ）３１ｂで撮影する
構成としている。

【００２２】前記コントローラ機構２７′は、図６及び
図８の如く、箱形状でこの箱体内にはコントローラ２７
を内装して設け、このコントローラ機構２７′は走行部
４に装着した構成であり、このコントローラケース２
７′内の該コントローラ２７と多板式ＣＣＤカメラ
（Ａ）３１ａ，（Ｂ）３１ｂ、ストロボ３０とはコード
３５ａ，３５ｂ，３５ｃで連接して通信可能に構成して
いる。

【００２３】前記コントローラ２７は、ＯＣＲ３５から
の信号を受けて、多板式ＣＣＤカメラ（Ａ）３１ａ，
（Ｂ）３１ｂを作動させる信号を発生する駆動パルス発
生回路３６、この駆動パルス発生回路３６からドライバ
（Ａ）３７ａ，（Ｂ）３７ｂを設け、このドライバ
（Ａ）３７ａからレシーバ（Ａ）３８ａを経て該多板式
ＣＣＤカメラ（Ａ）３１ａを作動させ、又該ドライバ
（Ｂ）３７ｂからレシーバ（Ｂ）３８ｂを経て該多板式
ＣＣＤカメラ（Ｂ）３１ｂを作動させる構成である。

【００２４】前記コントローラ２７は、多板式ＣＣＤカ
メラ（Ａ）３１ａ，（Ｂ）３１ｂからの信号を受けて、
ビデオ信号に変換する信号処理回路３９、この信号処理
回路３９からのビデオ信号（アナログ）をデジタルに変
換するＡ／Ｄ変換回路４０、このＡ／Ｄ変換回路４０か
らデジタル信号を入力する画像メモリ４１、画像処理チ
ップ等で構成されて、高速画像処理を行う画像処理回路
４２、ＣＰＵ４３、ビデオ信号を基にストロボ３０の発
光タイミング及びＡ／Ｄ変換の開始タイミングを取るタ
イミング回路４４、該ストロボ３０を駆動するストロボ
駆動回路４５等よりなる構成としている。

【００２５】前記信号処理回路３９は、上記以外にＣＰ
Ｕ４３からゲインコントロール信号に基づき、各々のビ
デオ信号のゲイン（増巾率）を変える構成である。ゲイ
ンコントロール（Ａ）４６ａ，（Ｂ）４６ｂは、多板式
ＣＣＤカメラ（Ａ）３１ａ，（Ｂ）３１ｂの信号を増巾
するためのコントロール電圧で、ＣＰＵ４３で制御する
構成である。

【００２６】ストロボ発生時間コントロール電圧４７
は、ストロボ３０の発光時間を設定するコントロール電
圧で、ＣＰＵ４３で制御する構成としている。果菜類収
穫機２５は、視覚機構２６及びコントローラ機構２７′
以外は、図１の果菜類収穫機１と同じ構成としている。
次に、以上のように構成する本発明の他の実施例の果菜
類収穫機２５で、異なる波長の光の輝度レベルを各々検
出する多板式ＣＣＤカメラ（Ａ）３１ａ，（Ｂ）３１ｂ
のゲインをコントローラ２７で各々自動調節して各々の
画像濃度が適正範囲内になるよう制御は、図９のフロー
チャートを参照に説明する。

【００２７】きゅうり５の収穫作業が開始され（ステッ
プ２０１）、波長８５０ｎｍのときの画像が入力され
（ステップ２０２）、波長５５０ｎｍのときの画像が入
力され（ステップ２０３）、波長８５０ｎｍのときの画
像の平均濃度（ＶＧ１）が算出され（ステップ２０
４）、この平均濃度（ＶＧ１）と波長８５０ｎｍのとき
の適正な濃度範囲（ＶＳ１）とが比較され（ステップ２
０５）、比較結果が（ＶＧ１）＜（ＶＳ１）であると検
出されるとゲインコントロール（Ａ）４６ａを１ステッ
プ増巾率を上げるように制御され（ステップ２０６）、
ステップ２０２へ戻る構成である。又比較結果が（ＶＧ
１）＞（ＶＳ１）であると検出されるとゲインコントロ
ール（Ａ）４６ａを１ステップ増巾率を下げるように制
御され（ステップ２０７）、ステップ２０２へ戻る構成
である。

【００２８】比較結果が（ＶＧ１）＝（ＶＳ１）である
と検出されると波長５５０ｎｍのときの画像の平均濃度
（ＶＧ２）が算出され（ステップ２０８）、この平均濃
度（ＶＳ２）と波長５５０ｎｍのときの適正な濃度範囲
（ＶＳ２）とが比較され（ステップ２０９）、比較結果
が（ＶＧ２）＜（ＶＳ２）であると検出されるとゲイン
コントロール（Ｂ）４６ｂを１ステップ増巾率を上げる
ように制御され（ステップ２１０）、ステップ２０２へ
戻る構成である。又比較結果が（ＶＧ２）＞（ＶＳ１）
であると検出されるとゲインコントロール（Ｂ）４６ｂ
を１ステップ増巾率を下げるように制御され（ステップ
２１１）、ステップ２０２へ戻る構成である。

【００２９】比較結果が（ＶＧ２）＝（ＶＳ２）である
と検出されると比率演算処理され（ステップ２１２）、
画像が２値化されて２値化画像が作成され（ステップ２
１３）、この２値化画像からきゅうり５の輪部が抽出さ
れ（ステップ２１４）、収穫適期のきゅうり５であるか
検出されると、果柄部が切断されて、きゅうり５の収穫
作業が終了する構成としている（ステップ２１５）。

【００３０】上記により、実際に得られる画像を基にし
てゲインを調節することにより、正確にきゅうり５の輪
部を検出することができる。又ストロボ３０の発光時間
を自動調節して画像の明るさが適正範囲内になるよう制
御は、図１０のフローチャートを参照に説明する。きゅ
うり５の収穫作業が開始され（ステップ３０１）、スト
ロボ３０の発光時間（ｔｓ）が初期値（ｔｓ０）と設定
され（ステップ３０２）、画像が入力され（ステップ３
０３）、波長８５０ｎｍのときの画像の平均濃度（Ｖ
Ｇ）が算出され（ステップ３０４）、この平均濃度（Ｖ
Ｇ）と波長８５０ｎｍのときの適正な濃度範囲（ＶＳ）
とが比較され（ステップ３０５）、比較結果（ＶＧ）＜
（ＶＳ）であると検出されると該ストロボ３０の発光時
間（ｔｓ）を１ステップ長く発光制御され（ステップ３
０６）、ステップ３０３へ戻る構成である。又比較結果
（ＶＧ）＞（ＶＳ）であると検出されると該ストロボ３
０の発光時間（ｔｓ）を１ステップ短かく発光制御され
（ステップ３０７）、ステップ３０３へ戻る構成であ
る。

【００３１】比較結果（ＶＧ）＝（ＶＳ）であると検出
されると比率演算処理され（ステップ３０８）、画像が
２値化されて２値化画像が作成され（ステップ３０
９）、この２値化画像からきゅうり５の輪郭が抽出され
（ステップ３１０）、収穫適期のきゅうり５であると検
出されると、果柄部が切断されて、きゅうり５の収穫作
業が終了する構成としている（ステップ３１１）。

【００３２】上記により、実際の画像信号を基にして発
光量（時間）を調節することにより、カメラ用レンズ２
８及び作業環境面等に関係なく、正確にきゅうり５の輪
郭を検出することができる。

【図面の簡単な説明】

【図１】果菜類栽培圃場における果菜類収穫機の正面図

【図２】ブロック図

【図３】フローチャート

【図４】しきい値テーブルの一例を示す図

【図５】他の実施例の果菜類収穫機の全体正面図

【図６】他の実施例の視覚機構及びコントロールケース
の斜視図

【図７】他の実施例の分光器の正面図

【図８】他の実施例のブロック図

【図９】他の実施例のフローチャート

【図１０】他の実施例のフローチャート

【符号の説明】１ 果菜類収穫機 ２ カメラ ３ 照度センサ５ 果菜類 ８ 視覚機構 １６ ハンド装置 ２１ 制御装置

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】対象物を撮影するカメラ２を備えた視覚機
   構８と、収穫する果菜類５に向って移動してその果菜類
   ５の果柄部を切断し収穫するハンド装置１６と、前記視
   覚機構８で撮影した画像信号を入力し、入力された画像
   信号を２値化して撮影された対象物の中から収穫すべき
   果菜類５の果体を検出する処理をし、検出した果菜類５
   の果体を収穫するよう前記ハンド装置１６を作動させる
   信号を出力する制御装置２１を設けた果菜類収穫機にお
   いて、前記視覚機構８に、前記カメラ２の撮影時におけ
   る照度を検出する照度センサ３を前記カメラ２とは別に
   設け、前記制御装置２１に、前記カメラ２で撮影された
   画像信号を２値化するときのしきい値を、前記照度セン
   サ３で検出した照度と、照度が大きいほどしきい値が大
   きくなるよう比例的に設定したしきい値テーブルとに基
   づいて決定する手段を設けたことを特徴とする果菜類収
   穫機。
2. 【請求項２】前記制御装置２１に設けたしきい値を決定
   する手段は、前記照度センサ３で複数回検出した照度か
   ら演算した平均照度と、照度が大きいほどしきい値が大
   きくなるよう比例的に設定したしきい値テーブルとに基
   づいて、前記カメラ２で撮影された画像信号を２値化す
   るときのしきい値を決定する構成としたことを特徴とす
   る請求項１に記載の果菜類収穫機。