JPH06327332A - 果菜収穫機の果菜類しきい値検出方式 - Google Patents

Abstract

(57)【要約】 【目的】 きゅうりの果体を画像から検出するしきい値
を正確に求めようとするものである。 【構成】 波長の異なる複数の光で撮影するカメラ２で
撮影した画像を取り込むときに、照度センサ３で複数回
検出して平均照度を求め、この平均照度をもとにして、
設定したしきい値テーブルから、この平均照度のしきい
値を検出する。 【効果】 しきい値テーブルから、平均照度のしきい値
を検出することにより、正確なしきい値が検出できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、果菜収穫機の果菜類
しきい値検出方式に関する。

【０００２】

【従来の技術】従来は、果菜類が、例えばきゅうりであ
り、このきゅうりの検出は、栽培された植条に沿って自
走しながら、きゅうりの形状は、カメラで波長の異なる
複数の光で撮影され、この撮影した各々の波長の光の照
度比が算出され、この算出した照度比の値からしきい値
を求め、このしきい値を基にして画像が２値化され、こ
の２値化画像からきゅうりを検出する。

【０００３】

【発明が解決しようとする課題】果菜収穫機で、例えば
果菜類がきゅうりであり、このきゅうりを検出して収穫
するときは、栽培された植条に沿って自走しながら、き
ゅうりの形状は、カメラで波長の異なる複数の光で撮影
され、この撮影した各々の波長のときの照度が検出さ
れ、これらの照度から照度比が算出され、この算出した
照度比の値からしきい値が算出され、このしきい値を基
にして画像が２値化され、この２値化画像によってきゅ
うりが検出され、この検出したきゅうりが収穫される。

【０００４】上記のきゅうり収穫作業のときに、各々の
波長のときの照度の範囲が広く、このためしきい値が広
い範囲でばらつき正確なしきい値を求めることが困難で
あり、しきい値が正確に求められないことによって、き
ゅうりの果体が正確に判定できないことがあったが、こ
れを解消しようとするものである。

【０００５】

【課題を解決するための手段】この発明は、果菜類を波
長の異なる複数の光で撮影するカメラ２を設け、該カメ
ラ２で撮影した画像を取り込むときに、照度センサ３で
複数回照度を検出して平均照度を演算して該平均照度に
もとづいて設定したしきい値テーブルから該平均照度の
しきい値を検出するしきい値制御装置２１を設けたこと
を特徴とする果菜収穫機の果菜類しきい値検出方式の構
成とする。

【０００６】

【発明の作用】果菜収穫機で、きゅうりを検出して収穫
するときは、栽培した植条に沿って自走しながら、きゅ
うりの形状は、カメラ２で波長の異なる複数の光で撮影
される。撮影された各画像を取り込むときに、照度セン
サ３で各々の波長のときの照度が複数回検出され、この
検出した照度の平均照度が演算されると共に、各々の波
長のときの照度から照度比が演算されて、きゅうりの果
体か、又は葉であるかの粗選判別がなされる。

【０００７】更に演算した平均照度に基づいて、設定し
たしきい値テーブルから、この平均照度のしきい値が検
出され、この検出したしきい値を基にして画像が２値化
され、この２値化画像によってきゅうりが検出され、こ
の検出したきゅうりが収穫される。

【０００８】

【発明の効果】この発明により、所定の各波長のときの
照度が照度センサ３で検出されて、平均照度が演算さ
れ、更にこの平均照度を基にして、しきい値テーブルよ
り、しきい値が検出されて、画像が２値化されることに
より、検出するしきい値の精度が向上することにより、
正確にきゅうりの果体が検出でき、又画像処理等を行う
ＣＰＵの処理負荷も低減できる。

【０００９】

【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図例は、果菜収穫機１を示す図であり、例えば
きゅうりの形状をカメラ２で撮影した画像を取り込むと
きに、照度センサ３で複数回照度が検出され、平均照度
が演算されて、この平均照度に基づいて設定して記憶し
たしきい値テーブルより、この平均照度のしきい値を検
出する検出方式について説明する。

【００１０】前記果菜収穫機１は、電動式の走行部４上
には、果菜類のきゅうり５収穫用のマニピュレータ６、
収穫するきゅうりの形状を撮影する多板式ＣＣＤカメラ
２、きゅうりの位置を検出する位置センサ７及び波長の
異なる光で撮影した画像を取り込むときの照度を検出す
る照度センサ３等よりなる視覚機構８を設けた構成とし
ている。

【００１１】前記果菜収穫機１を使用する栽培圃場は、
斜めに設けた支持体９にきゅうり５の樹体１０を支持さ
せて生育させる。前記マニピュレータ６は、対面する樹
体１０の傾斜とほぼ平行となるように傾斜させた傾斜枠
１１と、該傾斜枠１１のガイドレール１２に沿って昇降
自在に装着した基台１３と、該基台１３の上に水平状に
回動自在に設けた本体１４と、該マニピュレータ６に設
けた関節型を形成するアーム１５と、該アーム１５先端
部に設けたきゅうり５を挟持して切断するハンド装置１
６とからなる構成である。

【００１２】前記傾斜枠１１は、ヒンジ１７を用いて走
行部４に装着させ、背面側を支持リンク１８で支えてい
る。該支持リンク１８の下端部は、支持板１９の長孔２
０の任意位置へ装着され、この装着位置を調節して該傾
斜枠１１の傾斜角度を任意に調節することのできる構成
としている。マニピュレータ６の各部を作動させること
により、ハンド装置１６を収穫対象とするきゅうり５を
挟持して、このきゅうり５の果柄部を切断する構成とし
ている。

【００１３】前記視覚機構８は、図２の如く、多板式Ｃ
ＣＤカメラ２、この多板式ＣＣＤカメラ２の視野内を水
平及び垂直に走査して、対象物のきゅうり５までの距離
を測定する位置センサ７及び該多板式ＣＣＤカメラ２
で、例えば波長８５０ｎｍと５５０ｎｍのときの光で撮
影した画像を取り込むときの照度を検出する照度センサ
３等よりなる構成である。

【００１４】しきい値制御装置２１は、図２の如く、視
覚機構８内へ設け、多板式ＣＣＤカメラ２、位置センサ
７及び照度センサ３が検出する各種検出が、入力回路２
２を経てＣＰＵ２３へ入力され、このＣＰＵ２３で分析
処理されて、各種指令が出力回路２３を経て指令され、
マニピュレータ６等を作動する構成としている。前記視
覚機構８の多板式ＣＣＤカメラ２は、この多板式ＣＣＤ
カメラ２で波長の異なる複数の光で撮影した画像をＣＰ
Ｕ２３へ入力するときは、これら各々の波長のときの照
度が照度センサ３で電圧が、例えば２個所以上の個所を
各々２回以上検出されて、該ＣＰＵ２３へ入力され、こ
れら各々の波長のときの検出した照度の平均照度が演算
されて、これら平均照度の比が演算され、この演算され
た照度の比の値によって、検出がきゅうり５の果体であ
るか、又は葉であるかが粗選判定される構成としてい
る。該照度センサ３での検出は、１個所を２回以上の検
出で平均照度を演算する方式でもよい。尚各波長のとき
の検出する複数回の照度より、平均照度を演算してこの
平均照度に基づいて、しきい値テーブルより、この平均
照度のしきい値の検出方式については後述する。

【００１５】次に、以上のように構成する本発明実施例
のきゅうり５のしきい値検出方式の制御及びきゅうり５
の果体か否かの判定制御は、図３のフローチャートを参
照に説明する。しきい値制御装置２１によるしきい値の
検出制御は、下記の如く行われる構成としている。

【００１６】きゅうり５の収穫作業が開始され（ステッ
プ１０１）、多板式ＣＣＤカメラ２で撮影する波長の光
は、例えば８５０ｎｍにフィルタがセットされ（ステッ
プ１０２）、波長８５０ｎｍで撮影された画像がＣＰＵ
２３へ入力され（ステップ１０３）、このときの照度が
照度センサ３で電圧が、例えば２個所以上の個所を各々
２回以上検出してこれらの電圧（ａ）として、該ＣＰＵ
２３へ入力される（ステップ１０４）。又１個所を２回
以上検出する構成とするもよい。

【００１７】更に、多板式ＣＣＤカメラ２で撮影する波
長の光は、例えば５５０ｎｍにフィルタがセットされ
（ステップ１０５）、波長５５０ｎｍで撮影された画像
がＣＰＵ２３へ入力され（ステップ１０６）、このとき
の照度が照度センサ３で電圧が、例えば２個所以上を各
々２回以上検出してこれらの電圧（ｂ）として、該ＣＰ
Ｕ２３へ入力される（ステップ１０７）。又１個所を２
回以上検出する構成とするもよい。

【００１８】照度センサ３で検出された各波長のときの
電圧の平均電圧（ｃ）が下記式で算出され、平均電圧
（ｃ）＝電圧（ａ）＋電圧（ｂ）／２（ステップ１０
８）、この平均電圧（ｃ）が平均照度に置換され、この
平均照度（ｘ）に基づいて、図４の如くＣＰＵ２３へ設
定して記憶させているしきい値テーブルから、この平均
照度（ｘ）のしきい値（ｙ）が検出され（ステップ１０
９）、この検出したしきい値（ｙ）を基にして入力画像
が２値化されて、２値化画像が作成され（ステップ１１
０）、この２値化画像の縦・横の比によって、きゅうり
５の果体であるか、又は葉であるかが検出され、更にき
ゅうり５の果体であると検出されると、この２値化画像
の長さが検出され、この長さによってきゅうり５は、収
穫適期あるか、又は未成熟であるかが検出され、収穫適
期のきゅうり５は果柄部より切断されて収穫され、収穫
作業が終了する構成としている（ステップ１１１）。

【００１９】以下、上記実施例の作用について説明す
る。果菜収穫機２で、例えば果菜類がきゅうり５であ
り、このきゅうり５を検出して収穫するときは、栽培さ
れた植条に沿って、この果菜収穫機１を自走させなが
ら、きゅうり５の形状は、視覚機構８の多板式ＣＣＤカ
メラ２で、例えば波長８５０ｎｍと５５０ｎｍの光で撮
影される。

【００２０】この撮影された各画像をＣＰＵ２３へ入力
するときに、照度センサ３で各々の波長のときの照度
が、２個所以上の個所を各々２回以上検出して、これら
照度センサ３の検出電圧（ａ），（ｂ）として、該ＣＰ
Ｕ２３へ入力されて、この電圧（ａ），（ｂ）が各々の
波長のときの各照度に置換され、又これらの各照度から
平均照度が演算され、各々の波長のときの各照度から照
度比が演算されて、きゅうり５の果体であるか、又は葉
であるかが粗選判別される。

【００２１】更に演算した平均照度に基づいて、設定し
たしきい値テーブルから、この平均照度のしきい値が検
出され、この検出したしきい値を基にして画像が２値化
されて、２値化画像が作成され、この２値化画像の縦・
横の比によって、きゅうり５の果体であるか、又は葉で
あるか検出され、更にきゅうり５の果体であると検出さ
れると、この２値化画像の長さが検出され、この長さに
よってきゅうり５は、収穫適期であるか、又は未成熟で
あるかが検出され、収穫適期のきゅうり５であると検出
されると、ハンド装置１６がこのきゅうり５位置へ移動
制御され、このハンド装置１６でこのきゅうり５の果柄
部が切断されて収穫される。

【００２２】他の実施例の果菜収穫機２５及びこの果菜
収穫機２５の視覚機構２６とコントローラ２７を内装し
たコントローラ機構２７′とは図５〜図８に示す。前記
視覚機構２６は、図５及び図６の如く、前部にはカメラ
用レンズ２８を設け、このカメラ用レンズ２８後側には
分光器２９を設け、この分光器２９横側にはストロボ３
０を設け、後側には２台の多板式ＣＣＤカメラ（Ａ）３
１ａ及び（Ｂ）３１ｂを設けた構成であり、この視覚機
構２６は本体１４上側に装着した構成としている。

【００２３】前記分光器２９は、カメラ用レンズ２８か
らの画像用の光の一部をダイロックミラー（Ａ）３２
ａ、例えば波長８５０ｎｍの光のみを通す干渉フィルタ
（Ａ）３３ａ、ＮＤフィルタ（Ａ）３４ａを通過して多
板式ＣＣＤカメラ（Ａ）３１ａで撮影する構成であり、
又該カメラ用レンズ２８から画像用の光が該ダイロック
ミラー（Ａ）３２ａで反射した光の一部をダイロックミ
ラー（Ｂ）３２ｂ、例えば波長５５０ｎｍの光のみを通
す干渉フィルタ（Ｂ）３３ｂ、ＮＤフィルタ（Ｂ）３４
ｂを通過して多板式ＣＣＤカメラ（Ｂ）３１ｂで撮影す
る構成としている。

【００２４】前記コントローラ機構２７′は、図６及び
図８の如く、箱形状でこの箱体内にはコントローラ２７
を内装して設け、このコントローラ機構２７′は走行部
４に装着した構成であり、このコントローラケース２
７′内の該コントローラ２７と多板式ＣＣＤカメラ
（Ａ）３１ａ，（Ｂ）３１ｂ、ストロボ３０とはコード
３５ａ，３５ｂ，３５ｃで連接して通信可能に構成して
いる。

【００２５】前記コントローラ２７は、ＯＣＲ３５から
の信号を受けて、多板式ＣＣＤカメラ（Ａ）３１ａ，
（Ｂ）３１ｂを作動させる信号を発生する駆動パルス発
生回路３６、この駆動パルス発生回路３６からドライバ
（Ａ）３７ａ，（Ｂ）３７ｂを設け、このドライバ
（Ａ）３７ａからレシーバ（Ａ）３８ａを経て該多板式
ＣＣＤカメラ（Ａ）３１ａを作動させ、又該ドライバ
（Ｂ）３７ｂからレシーバ（Ｂ）３８ｂを経て該多板式
ＣＣＤカメラ（Ｂ）３１ｂを作動させる構成である。

【００２６】前記コントローラ２７は、多板式ＣＣＤカ
メラ（Ａ）３１ａ，（Ｂ）３１ｂからの信号を受けて、
ビデオ信号に変換する信号処理回路３９、この信号処理
回路３９からのビデオ信号（アナログ）をデジタルに変
換するＡ／Ｄ変換回路４０、このＡ／Ｄ変換回路４０か
らデジタル信号を入力する画像メモリ４１、画像処理チ
ップ等で構成されて、高速画像処理を行う画像処理回路
４２、ＣＰＵ４３、ビデオ信号を基にストロボ３０の発
光タイミング及びＡ／Ｄ変換の開始タイミングを取るタ
イミング回路４４、該ストロボ３０を駆動するストロボ
駆動回路４５等よりなる構成としている。

【００２７】前記信号処理回路３９は、上記以外にＣＰ
Ｕ４３からゲインコントロール信号に基づき、各々のビ
デオ信号のゲイン（増巾率）を変える構成である。ゲイ
ンコントロール（Ａ）４６ａ，（Ｂ）４６ｂは、多板式
ＣＣＤカメラ（Ａ）３１ａ，（Ｂ）３１ｂの信号を増巾
するためのコントロール電圧で、ＣＰＵ４３で制御する
構成である。

【００２８】ストロボ発生時間コントロール電圧４７
は、ストロボ３０の発光時間を設定するコントロール電
圧で、ＣＰＵ４３で制御する構成としている。果菜収穫
機２５は、視覚機構２６及びコントローラ機構２７′以
外は、図１の果菜収穫機１と同じ構成としている。次
に、以上のように構成する本発明の他の実施例の果菜収
穫機２５で、異なる波長の光の輝度レベルを各々検出す
る多板式ＣＣＤカメラ（Ａ）３１ａ，（Ｂ）３１ｂのゲ
インをコントローラ２７で各々自動調節して各々の画像
濃度が適正範囲内になるよう制御は、図９のフローチャ
ートを参照に説明する。

【００２９】きゅうり５の収穫作業が開始され（ステッ
プ２０１）、波長８５０ｎｍのときの画像が入力され
（ステップ２０２）、波長５５０ｎｍのときの画像が入
力され（ステップ２０３）、波長８５０ｎｍのときの画
像の平均濃度（ＶＧ１）が算出され（ステップ２０
４）、この平均濃度（ＶＧ１）と波長８５０ｎｍのとき
の適正な濃度範囲（ＶＳ１）とが比較され（ステップ２
０５）、比較結果が（ＶＧ１）＜（ＶＳ１）であると検
出されるとゲインコントロール（Ａ）４６ａを１ステッ
プ増巾率を上げるように制御され（ステップ２０６）、
ステップ２０２へ戻る構成である。又比較結果が（ＶＧ
１）＞（ＶＳ１）であると検出されるとゲインコントロ
ール（Ａ）４６ａを１ステップ増巾率を下げるように制
御され（ステップ２０７）、ステップ２０２へ戻る構成
である。

【００３０】比較結果が（ＶＧ１）＝（ＶＳ１）である
と検出されると波長５５０ｎｍのときの画像の平均濃度
（ＶＧ２）が算出され（ステップ２０８）、この平均濃
度（ＶＳ２）と波長５５０ｎｍのときの適正な濃度範囲
（ＶＳ２）とが比較され（ステップ２０９）、比較結果
が（ＶＧ２）＜（ＶＳ２）であると検出されるとゲイン
コントロール（Ｂ）４６ｂを１ステップ増巾率を上げる
ように制御され（ステップ２１０）、ステップ２０２へ
戻る構成である。又比較結果が（ＶＧ２）＞（ＶＳ１）
であると検出されるとゲインコントロール（Ｂ）４６ｂ
を１ステップ増巾率を下げるように制御され（ステップ
２１１）、ステップ２０２へ戻る構成である。

【００３１】比較結果が（ＶＧ２）＝（ＶＳ２）である
と検出されると比率演算処理され（ステップ２１２）、
画像が２値化されて２値化画像が作成され（ステップ２
１３）、この２値化画像からきゅうり５の輪部が抽出さ
れ（ステップ２１４）、収穫適期のきゅうり５であるか
検出されると、果柄部が切断されて、きゅうり５の収穫
作業が終了する構成としている（ステップ２１５）。

【００３２】上記により、実際に得られる画像を基にし
てゲインを調節することにより、正確にきゅうり５の輪
部を検出することができる。又ストロボ３０の発光時間
を自動調節して画像の明るさが適正範囲内になるよう制
御は、図１０のフローチャートを参照に説明する。きゅ
うり５の収穫作業が開始され（ステップ３０１）、スト
ロボ３０の発光時間（ｔｓ）が初期値（ｔｓ０）と設定
され（ステップ３０２）、画像が入力され（ステップ３
０３）、波長８５０ｎｍのときの画像の平均濃度（Ｖ
Ｇ）が算出され（ステップ３０４）、この平均濃度（Ｖ
Ｇ）と波長８５０ｎｍのときの適正な濃度範囲（ＶＳ）
とが比較され（ステップ３０５）、比較結果（ＶＧ）＜
（ＶＳ）であると検出されると該ストロボ３０の発光時
間（ｔｓ）を１ステップ長く発光制御され（ステップ３
０６）、ステップ３０３へ戻る構成である。又比較結果
（ＶＧ）＞（ＶＳ）であると検出されると該ストロボ３
０の発光時間（ｔｓ）を１ステップ短かく発光制御され
（ステップ３０７）、ステップ３０３へ戻る構成であ
る。

【００３３】比較結果（ＶＧ）＝（ＶＳ）であると検出
されると比率演算処理され（ステップ３０８）、画像が
２値化されて２値化画像が作成され（ステップ３０
９）、この２値化画像からきゅうり５の輪郭が抽出され
（ステップ３１０）、収穫適期のきゅうり５であると検
出されると、果柄部が切断されて、きゅうり５の収穫作
業が終了する構成としている（ステップ３１１）。

【００３４】上記により、実際の画像信号を基にして発
光量（時間）を調節することにより、カメラ用レンズ２
８及び作業環境面等に関係なく、正確にきゅうり５の輪
郭を検出することができる。

【図面の簡単な説明】

図は、この発明の一実施例を示すものである。

【図１】果菜類栽培圃場における果菜収穫機の全体正面
図

【図２】ブロック図

【図３】フローチャート

【図４】しきい値テーブルの１例図

【図５】他の実施例を示す図で、果菜類栽培圃場におけ
る果菜収穫機の全体正面図

【図６】他の実施例を示す図で、視覚機構及びコントロ
ールケースの拡大斜視図

【図７】他の実施例を示す図で、分光器の拡大正面図

【図８】他の実施例を示す図で、ブロック図

【図９】他の実施例を示す図で、フローチャート

【図１０】他の実施例を示す図で、フローチャート

【符号の説明】

２ カメラ ３ 照度センサ ２１ しきい制御装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】 果菜類を波長の異なる複数の光で撮影す
   るカメラ２を設け、該カメラ２で撮影した画像を取り込
   むときに、照度センサ３で複数回照度を検出して平均照
   度を演算して該平均照度にもとづいて設定したしきい値
   テーブルから該平均照度のしきい値を検出するしきい値
   制御装置２１を設けたことを特徴とする果菜収穫機の果
   菜類しきい値検出方式。